Versi singkatnya
- 16 GB: hanya model umum kecil yang berjalan nyaman; Qwen3 Coder 30B A3B hanya muat pada presisi lebih rendah. 24 GB: Devstral Small 2 (24B). 32–64 GB: Qwen3 Coder 30B A3B dan Devstral Small 2 pada 4-bit.
- 96 GB ke atas: Qwen3 Coder Next (80B, 3B aktif). 128 GB: juga Devstral 2 (123B), dengan lambat. 512 GB: Kimi K2.7 Code, pada presisi rendah.
- Model coding mixture-of-experts hanya membaca beberapa miliar bobot per token, jadi Qwen3 Coder 30B A3B bisa menulis beberapa kali lebih cepat daripada Devstral Small 2 yang dense di Mac yang sama.
- Agen coding mengirim prompt panjang: sisakan beberapa gigabyte untuk konteks, dan cek butuh RAM berapa untuk LLM.
1Model coding yang berjalan baik, per memori
"Berjalan baik" berarti muat pada 4-bit atau lebih dengan ruang untuk konteks, pada 10 token per detik atau lebih, aturan yang sama dengan setiap halaman Mac. Model khusus kode dari katalog model terbuka kami, ditambah model umum dengan Artificial Analysis Intelligence Index tertinggi yang berjalan baik di ukuran itu, yang juga bisa menulis kode:
| Memori Mac | Khusus untuk kode | Model umum terkuat |
|---|---|---|
| 16 GB | Qwen3 Coder 30B A3B hanya pada presisi lebih rendah | MiniCPM5 2B |
| 24 GB | Devstral Small 2 | MiniCPM5 2B |
| 32 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 48 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 64 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 96 GB | Qwen3 Coder Next, Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 128 GB | Qwen3 Coder Next, Devstral 2 (123B) (lebih lambat) | Qwen3.8 27B |
| 256 GB | Qwen3 Coder Next, Devstral 2 (lebih lambat) | Qwen3.8 Flash Next |
| 512 GB | Kimi K2.7 Code pada presisi lebih rendah, Qwen3 Coder Next | DeepSeek V4.1 Flash 1017 |
2Mengapa model coding mixture-of-experts terasa cepat
Kecepatan menulis dibatasi oleh berapa byte bobot yang dibaca untuk setiap token. Model dense membaca semuanya; model mixture-of-experts hanya membaca bagian aktifnya. Di Mac mini dengan M5 Pro (307 GB/s, Apple), pada 4-bit:
| Model | Parameter | Dibaca per token | Batas atas untuk satu chat |
|---|---|---|---|
| Qwen3 Coder 30B A3B | 30,5B total, 3,3B aktif | sekitar 1,9 GB | sekitar 165 token/detik |
| Devstral Small 2 | 24B, dense | sekitar 13,5 GB | sekitar 23 token/detik |
Kecepatan bukan kualitas: model dense bisa menjadi coder yang lebih baik dengan memori yang sama. Coba keduanya pada kode Anda sendiri.
3Sisakan ruang untuk konteks
Alat coding mengirim banyak teks: file yang sedang dikerjakan, deskripsi alat, dan percakapan sejauh ini. Konteks itu disimpan di memori di samping model, di KV cache, dan bertambah di setiap token. Untuk Qwen3 8B, 32.000 token memakan sekitar 4,8 GB (hitungannya di sini). Model yang lebih besar butuh lebih banyak per token.
Jadi jika sebuah model hanya pas-pasan muat, pilih model yang satu tingkat lebih kecil, atau presisi lebih rendah, daripada memangkas konteks. Prompt panjang juga butuh waktu untuk dibaca sebelum kata pertama muncul; generasi M5 membaca prompt lebih cepat daripada M4 (Apple).
4Pakai di editor atau agen Anda
Alat coding berkomunikasi dengan model lewat API. Jalankan model secara lokal dan arahkan alatnya ke sana:
- Server lokal LM Studio mendukung format OpenAI dan Anthropic, dan LM Studio punya panduan penyiapan untuk Claude Code, Codex, OpenClaw, dan Hermes Agent (LM Studio).
- mlx-lm:
mlx_lm.server --model <model>menyajikan API bergaya OpenAI di port 8080 (mlx-lm). - Ollama juga menyajikan API yang kompatibel dengan OpenAI: aplikasi terbaik untuk menjalankan LLM di Mac membandingkannya.
Agen memanggil alat, jadi model harus menghasilkan pemanggilan alat dalam format yang dipahami server. Model yang dibuat untuk kode dan agen, seperti Qwen3 Coder dan Devstral, dilatih untuk itu; model umum kecil sering kali tidak andal dalam hal ini.
Kategori coding di AI App Store mendaftar agen dan editor kode, seperti Claude Code dan Codex, masing-masing dengan unduhan resmi pembuatnya, harga, dan ke mana data Anda pergi.
5Pertanyaan
- Apa LLM lokal terbaik untuk coding di Mac 32 GB?
- Qwen3 Coder 30B A3B dan Devstral Small 2 sama-sama berjalan baik pada 4-bit. Qwen3 Coder menulis jauh lebih cepat karena hanya 3,3B dari 30,5B parameternya yang dibaca per token; coba keduanya pada kode Anda sendiri.
- Bisakah Mac 16 GB menjalankan model coding?
- Model kecil, ya. Qwen3 Coder 30B A3B hanya muat di 16 GB pada presisi lebih rendah, dengan sedikit ruang untuk konteks. Untuk agen coding, 32 GB atau lebih adalah awal yang lebih baik.
- Bisakah saya memakai Claude Code atau Codex dengan model lokal?
- Bisa. LM Studio punya panduan penyiapan untuk keduanya: server lokalnya mendukung format Anthropic yang dipakai Claude Code dan format OpenAI yang dipakai Codex (LM Studio). Seberapa baik hasilnya bergantung pada model yang Anda muat.
- Apakah model coding lokal sebagus model cloud?
- Model terbuka terbesar mendekati di banyak tugas, tetapi butuh Mac Studio dengan 256 atau 512 GB. Model yang muat di 32–64 GB berguna untuk pelengkapan kode, penjelasan, dan tugas agen yang lebih kecil, dan kode Anda tetap di Mac Anda.