Kwa ufupi
- GB 16: modeli ndogo za jumla pekee huendeshwa kwa urahisi; Qwen3 Coder 30B A3B inatosha tu kwa usahihi wa chini. GB 24: Devstral Small 2 (24B). GB 32–64: Qwen3 Coder 30B A3B na Devstral Small 2 kwa 4-bit.
- GB 96 na zaidi: Qwen3 Coder Next (80B, 3B zinazotumika). GB 128: Devstral 2 (123B) pia, polepole. GB 512: Kimi K2.7 Code, kwa usahihi wa chini.
- Coders za mixture-of-experts husoma bilioni chache tu za weights kwa kila tokeni, hivyo Qwen3 Coder 30B A3B inaweza kuandika mara kadhaa kwa kasi zaidi kuliko Devstral Small 2 ya dense kwenye Mac ileile.
- Coding agents hutuma prompts ndefu: acha gigabaiti kadhaa kwa context, na angalia RAM kiasi gani LLM inahitaji.
1Modeli za coding zinazoendeshwa vizuri, kwa kumbukumbu
"Inaendeshwa vizuri" maana yake inatosha kwa 4-bit au zaidi ikiwa na nafasi ya context, kwa tokeni 10 au zaidi kwa sekunde, kanuni ileile kama kila ukurasa wa Mac. Modeli zilizotengenezwa kwa code kutoka katalogi yetu ya modeli huria, pamoja na modeli ya jumla yenye Artificial Analysis Intelligence Index ya juu zaidi inayoendeshwa vizuri kwa ukubwa huo, ambayo pia huandika code:
| Kumbukumbu ya Mac | Iliyotengenezwa kwa code | Modeli ya jumla yenye nguvu zaidi |
|---|---|---|
| 16 GB | Qwen3 Coder 30B A3B kwa usahihi wa chini pekee | MiniCPM5 2B |
| 24 GB | Devstral Small 2 | MiniCPM5 2B |
| 32 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 48 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 64 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 96 GB | Qwen3 Coder Next, Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 128 GB | Qwen3 Coder Next, Devstral 2 (123B) (polepole zaidi) | Qwen3.8 27B |
| 256 GB | Qwen3 Coder Next, Devstral 2 (polepole zaidi) | Qwen3.8 Flash Next |
| 512 GB | Kimi K2.7 Code kwa usahihi wa chini, Qwen3 Coder Next | DeepSeek V4.1 Flash 1017 |
2Kwa nini coders za mixture-of-experts huhisi kuwa za kasi
Kasi ya kuandika hudhibitiwa na baiti ngapi za weights zinazosomwa kwa kila tokeni. Modeli ya dense husoma zote; modeli ya mixture-of-experts husoma sehemu yake inayotumika tu. Kwenye Mac mini yenye M5 Pro (GB/s 307, Apple), kwa 4-bit:
| Modeli | Vigezo | Husomwa kwa kila tokeni | Kikomo kwa mazungumzo moja |
|---|---|---|---|
| Qwen3 Coder 30B A3B | 30.5B jumla, 3.3B zinazotumika | takriban 1.9 GB | takriban tokeni 165/s |
| Devstral Small 2 | 24B, dense | takriban 13.5 GB | takriban tokeni 23/s |
Kasi si ubora: modeli ya dense inaweza kuwa coder bora zaidi kwa kumbukumbu ileile. Jaribu zote mbili kwenye code yako mwenyewe.
3Acha nafasi kwa context
Zana za coding hutuma maandishi mengi: faili zinazohusika, maelezo ya zana na mazungumzo hadi sasa. Context hiyo huhifadhiwa kwenye kumbukumbu kando ya modeli, katika KV cache, na hukua kwa kila tokeni. Kwa Qwen3 8B, tokeni 32,000 huchukua takriban GB 4.8 (imehesabiwa hapa). Modeli kubwa zaidi zinahitaji zaidi kwa kila tokeni.
Kwa hiyo modeli inapotosha kwa shida, chagua inayofuata kwa udogo, au usahihi wa chini, badala ya kubana context. Prompts ndefu pia huchukua muda kusomwa kabla neno la kwanza halijaonekana; kizazi cha M5 husoma prompts kwa kasi zaidi kuliko M4 (Apple).
4Itumie kwenye editor au agent wako
Zana za coding huzungumza na modeli kupitia API. Endesha modeli ndani ya Mac na uielekeze zana kwake:
- Seva ya ndani ya LM Studio inazungumza miundo ya OpenAI na Anthropic, na LM Studio ina miongozo ya usanidi kwa Claude Code, Codex, OpenClaw na Hermes Agent (LM Studio).
- mlx-lm:
mlx_lm.server --model <model>hutoa API ya mtindo wa OpenAI kwenye port 8080 (mlx-lm). - Ollama pia hutoa API inayoendana na OpenAI: programu bora za kuendesha LLM kwenye Mac inazilinganisha.
Agents huita zana, hivyo modeli lazima itoe miito ya zana (tool calls) kwa muundo ambao seva inauelewa. Modeli zilizotengenezwa kwa code na agents, kama Qwen3 Coder na Devstral, zimefunzwa kwa hilo; modeli ndogo za jumla mara nyingi haziaminiki katika hilo.
Kundi la uandishi wa msimbo kwenye AI App Store linaorodhesha mawakala na vihariri vya msimbo, kama Claude Code na Codex, kila kimoja na upakuaji rasmi wa mtengenezaji, bei na data yako inakoenda.
5Maswali
- LLM bora ya ndani ya coding kwa Mac ya GB 32 ni ipi?
- Qwen3 Coder 30B A3B na Devstral Small 2 zote huendeshwa vizuri kwa 4-bit. Qwen3 Coder huandika kwa kasi zaidi sana kwa sababu ni 3.3B tu kati ya vigezo vyake 30.5B vinavyosomwa kwa kila tokeni; jaribu zote mbili kwenye code yako mwenyewe.
- Je, Mac ya GB 16 inaweza kuendesha modeli ya coding?
- Modeli ndogo, ndiyo. Qwen3 Coder 30B A3B inatosha kwenye GB 16 kwa usahihi wa chini tu, ikiwa na nafasi ndogo ya context. Kwa coding agents, GB 32 au zaidi ni mwanzo bora.
- Je, naweza kutumia Claude Code au Codex na modeli ya ndani?
- Ndiyo. LM Studio ina miongozo ya usanidi kwa zote mbili: seva yake ya ndani inazungumza muundo wa Anthropic unaotumiwa na Claude Code na muundo wa OpenAI unaotumiwa na Codex (LM Studio). Jinsi zinavyofanya kazi vizuri hutegemea modeli unayopakia.
- Je, modeli ya ndani ya coding ni nzuri kama ya wingu?
- Modeli huria kubwa kabisa hukaribia kwenye kazi nyingi, lakini zinahitaji Mac Studio yenye GB 256 au 512. Modeli zinazotosha GB 32–64 zinafaa kwa ukamilishaji wa code, maelezo na kazi ndogo za agent, na huweka code yako kwenye Mac yako.