Ang maikling bersyon
- 16 GB: maliliit na pangkalahatang model lang ang komportableng tumatakbo; kasya lang ang Qwen3 Coder 30B A3B sa mas mababang precision. 24 GB: Devstral Small 2 (24B). 32–64 GB: Qwen3 Coder 30B A3B at Devstral Small 2 sa 4-bit.
- 96 GB pataas: Qwen3 Coder Next (80B, 3B aktibo). 128 GB: pati Devstral 2 (123B), nang mabagal. 512 GB: Kimi K2.7 Code, sa mababang precision.
- Iilang bilyong weight lang ang binabasa ng mga mixture-of-experts coder bawat token, kaya puwedeng sumulat ang Qwen3 Coder 30B A3B nang ilang beses na mas mabilis kaysa sa dense na Devstral Small 2 sa parehong Mac.
- Mahahabang prompt ang ipinapadala ng mga coding agent: magtira ng ilang gigabyte para sa context, at tingnan ang gaano karaming RAM ang kailangan ng LLM.
1Mga coding model na mahusay tumakbo, ayon sa memory
Ang ibig sabihin ng "mahusay tumakbo" ay kasya ito sa 4-bit o mas mataas nang may puwang para sa context, sa 10 o higit pang token bawat segundo, ang parehong patakaran sa bawat pahina ng Mac. Mga model na ginawa para sa code mula sa aming catalog ng mga open model, dagdag ang pangkalahatang model na may pinakamataas na Artificial Analysis Intelligence Index na mahusay tumakbo sa laking iyon, na sumusulat din ng code:
| Memory ng Mac | Ginawa para sa code | Pinakamalakas na pangkalahatang model |
|---|---|---|
| 16 GB | Qwen3 Coder 30B A3B sa mas mababang precision lang | MiniCPM5 2B |
| 24 GB | Devstral Small 2 | MiniCPM5 2B |
| 32 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 48 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 64 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 96 GB | Qwen3 Coder Next, Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 128 GB | Qwen3 Coder Next, Devstral 2 (123B) (mas mabagal) | Qwen3.8 27B |
| 256 GB | Qwen3 Coder Next, Devstral 2 (mas mabagal) | Qwen3.8 Flash Next |
| 512 GB | Kimi K2.7 Code sa mas mababang precision, Qwen3 Coder Next | DeepSeek V4.1 Flash 1017 |
2Bakit mabilis ang pakiramdam ng mga mixture-of-experts coder
Limitado ang bilis ng pagsulat ng dami ng byte ng weights na binabasa para sa bawat token. Binabasa ng dense model ang lahat ng ito; aktibong bahagi lang ang binabasa ng mixture-of-experts model. Sa Mac mini na may M5 Pro (307 GB/s, Apple), sa 4-bit:
| Model | Mga parameter | Binabasa bawat token | Kisame para sa isang chat |
|---|---|---|---|
| Qwen3 Coder 30B A3B | 30.5B kabuuan, 3.3B aktibo | mga 1.9 GB | mga 165 token/s |
| Devstral Small 2 | 24B, dense | mga 13.5 GB | mga 23 token/s |
Hindi kalidad ang bilis: puwedeng mas mahusay na coder ang dense model sa parehong memory. Subukan ang dalawa sa sarili mong code.
3Magtira ng puwang para sa context
Maraming text ang ipinapadala ng mga coding tool: ang mga file na ginagamit, paglalarawan ng mga tool at ang usapan hanggang ngayon. Nakatabi ang context na iyon sa memory katabi ng model, sa KV cache, at lumalaki ito sa bawat token. Sa Qwen3 8B, mga 4.8 GB ang 32,000 token (kinuwenta rito). Mas marami bawat token ang kailangan ng mas malalaking model.
Kaya kapag halos hindi na kasya ang isang model, piliin ang kasunod na mas maliit, o mas mababang precision, sa halip na ipitin ang context. Nangangailangan din ng oras ang mahahabang prompt para mabasa bago lumabas ang unang salita; mas mabilis magbasa ng prompt ang M5 generation kaysa sa M4 (Apple).
4Gamitin ito sa editor o agent mo
Kumakausap ang mga coding tool sa model sa pamamagitan ng API. Patakbuhin ang model nang lokal at ituro ang tool dito:
- Sinusuportahan ng lokal na server ng LM Studio ang mga format ng OpenAI at Anthropic, at may mga gabay sa pag-set up ang LM Studio para sa Claude Code, Codex, OpenClaw at Hermes Agent (LM Studio).
- mlx-lm: nagse-serve ang
mlx_lm.server --model <model>ng OpenAI-style na API sa port 8080 (mlx-lm). - Nagse-serve rin ng OpenAI-compatible na API ang Ollama: inihahambing sila ng pinakamahusay na app para magpatakbo ng LLM sa Mac.
Tumatawag ng mga tool ang mga agent, kaya kailangang gumawa ang model ng tool call sa format na naiintindihan ng server. Sinanay para rito ang mga model na ginawa para sa code at agent, gaya ng Qwen3 Coder at Devstral; madalas hindi maaasahan dito ang maliliit na pangkalahatang model.
Naglilista ang kategoryang coding ng AI App Store ng mga coding agent at editor, gaya ng Claude Code at Codex, bawat isa ay may opisyal na download ng gumawa, presyo at kung saan napupunta ang data mo.
5Mga tanong
- Ano ang pinakamagandang local coding LLM para sa 32 GB na Mac?
- Parehong mahusay tumakbo sa 4-bit ang Qwen3 Coder 30B A3B at Devstral Small 2. Mas mabilis sumulat ang Qwen3 Coder dahil 3.3B lang sa 30.5B parameter nito ang binabasa bawat token; subukan ang dalawa sa sarili mong code.
- Kaya ba ng 16 GB na Mac ang coding model?
- Ang maliliit na model, oo. Kasya lang ang Qwen3 Coder 30B A3B sa 16 GB sa mas mababang precision, na kaunti ang puwang para sa context. Para sa mga coding agent, mas magandang simula ang 32 GB o higit pa.
- Puwede ko bang gamitin ang Claude Code o Codex sa local model?
- Oo. May mga gabay sa pag-set up ang LM Studio para sa dalawa: sinusuportahan ng lokal na server nito ang Anthropic format na gamit ng Claude Code at ang OpenAI format na gamit ng Codex (LM Studio). Nakadepende sa model na nilo-load mo kung gaano sila kahusay gumana.
- Kasinghusay ba ng cloud ang local coding model?
- Malapit na ang pinakamalalaking open model sa maraming gawain, pero kailangan nila ng Mac Studio na may 256 o 512 GB. Kapaki-pakinabang ang mga model na kasya sa 32–64 GB para sa completion, paliwanag at mas maliliit na gawain ng agent, at nananatili ang code mo sa Mac mo.