Tóm tắt nhanh
- 16 GB: chỉ các mô hình đa năng nhỏ chạy thoải mái; Qwen3 Coder 30B A3B chỉ vừa ở độ chính xác thấp hơn. 24 GB: Devstral Small 2 (24B). 32–64 GB: Qwen3 Coder 30B A3B và Devstral Small 2 ở 4-bit.
- 96 GB trở lên: Qwen3 Coder Next (80B, 3B hoạt động). 128 GB: thêm Devstral 2 (123B), chạy chậm. 512 GB: Kimi K2.7 Code, ở độ chính xác thấp.
- Coder mixture-of-experts chỉ đọc vài tỷ trọng số cho mỗi token, nên Qwen3 Coder 30B A3B có thể viết nhanh gấp nhiều lần Devstral Small 2 (dense) trên cùng một máy Mac.
- Agent lập trình gửi prompt dài: hãy chừa vài gigabyte cho ngữ cảnh, và xem chạy LLM cần bao nhiêu RAM.
1Mô hình lập trình chạy tốt, theo bộ nhớ
"Chạy tốt" nghĩa là vừa ở 4-bit trở lên mà còn chỗ cho ngữ cảnh, với 10 token mỗi giây trở lên, cùng quy tắc với mọi trang Mac. Các mô hình chuyên cho mã nguồn trong danh mục mô hình mở của chúng tôi, cùng mô hình đa năng có Artificial Analysis Intelligence Index cao nhất chạy tốt ở dung lượng đó, vốn cũng viết được mã:
| Bộ nhớ Mac | Chuyên cho mã nguồn | Mô hình đa năng mạnh nhất |
|---|---|---|
| 16 GB | Qwen3 Coder 30B A3B chỉ ở độ chính xác thấp hơn | MiniCPM5 2B |
| 24 GB | Devstral Small 2 | MiniCPM5 2B |
| 32 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 48 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 64 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 96 GB | Qwen3 Coder Next, Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 128 GB | Qwen3 Coder Next, Devstral 2 (123B) (chậm hơn) | Qwen3.8 27B |
| 256 GB | Qwen3 Coder Next, Devstral 2 (chậm hơn) | Qwen3.8 Flash Next |
| 512 GB | Kimi K2.7 Code ở độ chính xác thấp hơn, Qwen3 Coder Next | DeepSeek V4.1 Flash 1017 |
2Vì sao coder mixture-of-experts cho cảm giác nhanh
Tốc độ viết bị giới hạn bởi số byte trọng số phải đọc cho mỗi token. Mô hình dense đọc toàn bộ; mô hình mixture-of-experts chỉ đọc phần đang hoạt động. Trên Mac mini M5 Pro (307 GB/s, Apple), ở 4-bit:
| Mô hình | Tham số | Đọc mỗi token | Mức trần cho một cuộc trò chuyện |
|---|---|---|---|
| Qwen3 Coder 30B A3B | Tổng 30,5B, 3,3B hoạt động | khoảng 1,9 GB | khoảng 165 token/s |
| Devstral Small 2 | 24B, dense | khoảng 13,5 GB | khoảng 23 token/s |
Tốc độ không phải chất lượng: với cùng bộ nhớ, một mô hình dense có thể lập trình tốt hơn. Hãy thử cả hai trên mã của chính bạn.
3Chừa chỗ cho ngữ cảnh
Công cụ lập trình gửi rất nhiều văn bản: các tệp đang làm, mô tả công cụ và cuộc hội thoại tới lúc đó. Ngữ cảnh ấy nằm trong bộ nhớ cạnh mô hình, trong KV cache, và tăng theo từng token. Với Qwen3 8B, 32.000 token chiếm khoảng 4,8 GB (cách tính ở đây). Mô hình lớn hơn cần nhiều hơn cho mỗi token.
Vì vậy khi một mô hình chỉ vừa khít, hãy chọn mô hình nhỏ hơn một bậc hoặc độ chính xác thấp hơn, thay vì cắt bớt ngữ cảnh. Prompt dài cũng cần thời gian để đọc trước khi chữ đầu tiên xuất hiện; thế hệ M5 đọc prompt nhanh hơn M4 (Apple).
4Dùng trong trình soạn thảo hay agent
Công cụ lập trình nói chuyện với mô hình qua API. Chạy mô hình cục bộ rồi trỏ công cụ tới nó:
- Máy chủ cục bộ của LM Studio hỗ trợ định dạng OpenAI và Anthropic, và LM Studio có hướng dẫn cài đặt cho Claude Code, Codex, OpenClaw và Hermes Agent (LM Studio).
- mlx-lm:
mlx_lm.server --model <model>cung cấp API kiểu OpenAI trên cổng 8080 (mlx-lm). - Ollama cũng cung cấp API tương thích OpenAI: bài ứng dụng tốt nhất để chạy LLM trên Mac so sánh chúng.
Agent gọi công cụ, nên mô hình phải tạo lệnh gọi công cụ theo định dạng máy chủ hiểu được. Các mô hình làm cho mã nguồn và agent, như Qwen3 Coder và Devstral, được huấn luyện cho việc đó; mô hình đa năng nhỏ thường không đáng tin cậy ở khoản này.
Danh mục lập trình trong AI App Store liệt kê các agent và trình soạn thảo mã, như Claude Code và Codex, mỗi mục kèm bản tải chính thức của nhà phát triển, giá và dữ liệu của bạn đi đâu.
5Câu hỏi
- LLM lập trình cục bộ nào tốt nhất cho Mac 32 GB?
- Qwen3 Coder 30B A3B và Devstral Small 2 đều chạy tốt ở 4-bit. Qwen3 Coder viết nhanh hơn nhiều vì chỉ 3,3B trong 30,5B tham số được đọc cho mỗi token; hãy thử cả hai trên mã của chính bạn.
- Mac 16 GB có chạy được mô hình lập trình không?
- Mô hình nhỏ thì có. Qwen3 Coder 30B A3B chỉ vừa 16 GB ở độ chính xác thấp hơn, với ít chỗ cho ngữ cảnh. Với agent lập trình, nên bắt đầu từ 32 GB trở lên.
- Có dùng Claude Code hay Codex với mô hình cục bộ được không?
- Được. LM Studio có hướng dẫn cài đặt cho cả hai: máy chủ cục bộ của nó hỗ trợ định dạng Anthropic mà Claude Code dùng và định dạng OpenAI mà Codex dùng (LM Studio). Chúng hoạt động tốt đến đâu tùy vào mô hình bạn nạp.
- Mô hình lập trình cục bộ có tốt bằng mô hình đám mây không?
- Các mô hình mở lớn nhất tiến gần ở nhiều tác vụ, nhưng cần Mac Studio 256 hoặc 512 GB. Các mô hình vừa 32–64 GB hữu ích cho gợi ý mã, giải thích và các tác vụ agent nhỏ hơn, và giữ mã nguồn trên Mac của bạn.