重點整理
- 16 GB：只有小型通用模型跑得順；Qwen3 Coder 30B A3B 只能以較低精度放進去。24 GB：Devstral Small 2（24B）。32–64 GB：4-bit 的 Qwen3 Coder 30B A3B 和 Devstral Small 2。
- 96 GB 以上：Qwen3 Coder Next（80B，3B 作用中）。128 GB：還能跑 Devstral 2（123B），但較慢。512 GB：以低精度跑 Kimi K2.7 Code。
- 混合專家程式模型每個 token 只讀取幾十億個權重，所以在同一台 Mac 上，Qwen3 Coder 30B A3B 的產生速度可以比稠密的 Devstral Small 2 快好幾倍。
- 程式代理會送出很長的提示詞：請預留好幾 GB 給上下文，並參考 LLM 需要多少記憶體。
1依記憶體挑選：執行順暢的程式模型
「執行順暢」指的是以 4-bit 或更高精度裝得下、還有空間留給上下文，而且每秒 10 個 token 以上，和每個 Mac 頁面的規則相同。下表列出我們開放模型目錄中專為程式設計打造的模型，以及在該容量下執行順暢、Artificial Analysis Intelligence Index 最高的通用模型（它也能寫程式）：
| Mac 記憶體 | 專為程式設計打造 | 最強的通用模型 |
|---|---|---|
| 16 GB | Qwen3 Coder 30B A3B，僅限較低精度 | MiniCPM5 2B |
| 24 GB | Devstral Small 2 | MiniCPM5 2B |
| 32 GB | Qwen3 Coder 30B A3B、Devstral Small 2 | Qwen3.8 27B |
| 48 GB | Qwen3 Coder 30B A3B、Devstral Small 2 | Qwen3.8 27B |
| 64 GB | Qwen3 Coder 30B A3B、Devstral Small 2 | Qwen3.8 27B |
| 96 GB | Qwen3 Coder Next、Qwen3 Coder 30B A3B、Devstral Small 2 | Qwen3.8 27B |
| 128 GB | Qwen3 Coder Next、Devstral 2 (123B)（較慢） | Qwen3.8 27B |
| 256 GB | Qwen3 Coder Next、Devstral 2（較慢） | Qwen3.8 Flash Next |
| 512 GB | Kimi K2.7 Code（較低精度）、Qwen3 Coder Next | DeepSeek V4.1 Flash 1017 |
2為什麼混合專家程式模型用起來快
產生速度受限於每個 token 要讀取多少位元組的權重。稠密模型要全部讀取；混合專家模型只讀取作用中的部分。以搭載 M5 Pro 的 Mac mini（307 GB/s，Apple）在 4-bit 下為例：
| 模型 | 參數 | 每個 token 讀取量 | 單一對話的速度上限 |
|---|---|---|---|
| Qwen3 Coder 30B A3B | 總計 30.5B，作用中 3.3B | 約 1.9 GB | 約 165 tokens/s |
| Devstral Small 2 | 24B，稠密 | 約 13.5 GB | 約 23 tokens/s |
速度不等於品質：在相同記憶體下，稠密模型可能寫程式寫得更好。請兩個都用你自己的程式碼試試看。
3為上下文預留空間
程式工具會送出大量文字：相關的檔案、工具說明，以及到目前為止的對話。這些上下文和模型一起存在記憶體裡的 KV cache 中，每多一個 token 就增加一些。以 Qwen3 8B 為例，32,000 個 token 約佔 4.8 GB（計算方式）。更大的模型每個 token 需要更多記憶體。
所以當模型剛好勉強裝得下時，請改選小一號的模型或較低精度，而不要壓縮上下文。長提示詞在第一個字出現前也需要時間讀取；M5 世代讀取提示詞比 M4 更快（Apple）。
4接上你的編輯器或代理
程式工具透過 API 與模型溝通。在本機執行模型，再把工具指向它：
- LM Studio 的本機伺服器支援 OpenAI 和 Anthropic 格式，LM Studio 也為 Claude Code、Codex、OpenClaw 和 Hermes Agent 提供了設定指南（LM Studio）。
- mlx-lm：
mlx_lm.server --model <model>會在 8080 連接埠提供 OpenAI 風格的 API（mlx-lm）。 - Ollama 也提供 OpenAI 相容 API：在 Mac 上跑 LLM 的最佳 App 比較了它們。
代理會呼叫工具，所以模型必須以伺服器看得懂的格式產生工具呼叫。Qwen3 Coder 和 Devstral 這類為程式和代理打造的模型都針對這點訓練過；小型通用模型在這方面往往不太可靠。
AI App Store 的程式設計類別收錄了 Claude Code、Codex 等程式設計代理和編輯器，每一款都附有開發者的官方下載、價格以及你的資料流向何處。
5常見問題
- 32 GB 的 Mac 寫程式最適合哪個本地 LLM？
- Qwen3 Coder 30B A3B 和 Devstral Small 2 在 4-bit 下都跑得順。Qwen3 Coder 產生得快很多，因為它 30.5B 個參數中每個 token 只讀取 3.3B；請兩個都用你自己的程式碼試試。
- 16 GB 的 Mac 能跑程式模型嗎？
- 小模型可以。Qwen3 Coder 30B A3B 只能以較低精度放進 16 GB，留給上下文的空間很少。如果要用程式代理，32 GB 或以上是比較好的起點。
- Claude Code 或 Codex 可以搭配本地模型使用嗎？
- 可以。LM Studio 為兩者都提供了設定指南：它的本機伺服器支援 Claude Code 使用的 Anthropic 格式和 Codex 使用的 OpenAI 格式（LM Studio）。效果如何取決於你載入的模型。
- 本地程式模型和雲端的一樣好嗎？
- 最大的開放模型在很多任務上已經很接近，但需要 256 或 512 GB 的 Mac Studio。32–64 GB 裝得下的模型適合程式補全、解說和較小的代理任務，而且程式碼留在你的 Mac 上。