Ringkasnya
- 16 GB: hanya model umum kecil berjalan dengan selesa; Qwen3 Coder 30B A3B hanya muat pada kepersisan lebih rendah. 24 GB: Devstral Small 2 (24B). 32–64 GB: Qwen3 Coder 30B A3B dan Devstral Small 2 pada 4-bit.
- 96 GB ke atas: Qwen3 Coder Next (80B, 3B aktif). 128 GB: Devstral 2 (123B) juga, dengan perlahan. 512 GB: Kimi K2.7 Code, pada kepersisan rendah.
- Model pengekodan mixture-of-experts hanya membaca beberapa bilion pemberat bagi setiap token, jadi Qwen3 Coder 30B A3B boleh menulis beberapa kali lebih pantas daripada Devstral Small 2 yang padat pada Mac yang sama.
- Ejen pengekodan menghantar prompt panjang: tinggalkan beberapa gigabait untuk konteks, dan semak berapa RAM yang diperlukan LLM.
1Model pengekodan yang berjalan baik, ikut memori
"Berjalan baik" bermaksud ia muat pada 4-bit atau lebih baik dengan ruang untuk konteks, pada 10 token sesaat atau lebih, peraturan yang sama seperti setiap halaman Mac. Model yang dibuat untuk kod daripada katalog model terbuka kami, serta model umum dengan Artificial Analysis Intelligence Index tertinggi yang berjalan baik pada saiz itu, yang juga menulis kod:
| Memori Mac | Dibuat untuk kod | Model umum terkuat |
|---|---|---|
| 16 GB | Qwen3 Coder 30B A3B hanya pada kepersisan lebih rendah | MiniCPM5 2B |
| 24 GB | Devstral Small 2 | MiniCPM5 2B |
| 32 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 48 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 64 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 96 GB | Qwen3 Coder Next, Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 128 GB | Qwen3 Coder Next, Devstral 2 (123B) (lebih perlahan) | Qwen3.8 27B |
| 256 GB | Qwen3 Coder Next, Devstral 2 (lebih perlahan) | Qwen3.8 Flash Next |
| 512 GB | Kimi K2.7 Code pada kepersisan lebih rendah, Qwen3 Coder Next | DeepSeek V4.1 Flash 1017 |
2Mengapa model pengekodan mixture-of-experts terasa pantas
Kelajuan menulis dihadkan oleh berapa bait pemberat yang dibaca bagi setiap token. Model padat membaca kesemuanya; model mixture-of-experts hanya membaca bahagian aktifnya. Pada Mac mini dengan M5 Pro (307 GB/s, Apple), pada 4-bit:
| Model | Parameter | Dibaca setiap token | Had untuk satu sembang |
|---|---|---|---|
| Qwen3 Coder 30B A3B | 30.5B jumlah, 3.3B aktif | kira-kira 1.9 GB | kira-kira 165 token/s |
| Devstral Small 2 | 24B, padat | kira-kira 13.5 GB | kira-kira 23 token/s |
Kelajuan bukan kualiti: model padat boleh menjadi pengekod yang lebih baik pada memori yang sama. Cuba kedua-duanya pada kod anda sendiri.
3Tinggalkan ruang untuk konteks
Alat pengekodan menghantar banyak teks: fail yang terlibat, penerangan alat dan perbualan setakat ini. Konteks itu disimpan dalam memori di sebelah model, dalam KV cache, dan ia membesar dengan setiap token. Untuk Qwen3 8B, 32,000 token mengambil kira-kira 4.8 GB (dikira di sini). Model lebih besar memerlukan lebih banyak bagi setiap token.
Jadi apabila model hanya cukup-cukup muat, pilih yang lebih kecil seterusnya, atau kepersisan lebih rendah, daripada menyempitkan konteks. Prompt panjang juga mengambil masa untuk dibaca sebelum perkataan pertama muncul; generasi M5 membaca prompt lebih pantas daripada M4 (Apple).
4Gunakannya dalam editor atau ejen anda
Alat pengekodan berhubung dengan model melalui API. Jalankan model secara tempatan dan halakan alat itu kepadanya:
- Pelayan setempat LM Studio menyokong format OpenAI dan Anthropic, dan LM Studio mempunyai panduan persediaan untuk Claude Code, Codex, OpenClaw dan Hermes Agent (LM Studio).
- mlx-lm:
mlx_lm.server --model <model>menyediakan API gaya OpenAI pada port 8080 (mlx-lm). - Ollama juga menyediakan API serasi OpenAI: aplikasi terbaik untuk menjalankan LLM pada Mac membandingkannya.
Ejen memanggil alat, jadi model perlu menghasilkan panggilan alat dalam format yang difahami pelayan. Model yang dibuat untuk kod dan ejen, seperti Qwen3 Coder dan Devstral, dilatih untuknya; model umum kecil selalunya tidak boleh dipercayai untuk itu.
Kategori pengekodan dalam AI App Store menyenaraikan ejen dan editor kod, seperti Claude Code dan Codex, setiap satu dengan muat turun rasmi pembuatnya, harga dan ke mana data anda pergi.
5Soalan
- Apakah LLM pengekodan tempatan terbaik untuk Mac 32 GB?
- Qwen3 Coder 30B A3B dan Devstral Small 2 kedua-duanya berjalan baik pada 4-bit. Qwen3 Coder menulis jauh lebih pantas kerana hanya 3.3B daripada 30.5B parameternya dibaca bagi setiap token; cuba kedua-duanya pada kod anda sendiri.
- Bolehkah Mac 16 GB menjalankan model pengekodan?
- Model kecil, ya. Qwen3 Coder 30B A3B hanya muat dalam 16 GB pada kepersisan lebih rendah, dengan sedikit ruang untuk konteks. Untuk ejen pengekodan, 32 GB atau lebih ialah permulaan yang lebih baik.
- Bolehkah saya menggunakan Claude Code atau Codex dengan model tempatan?
- Ya. LM Studio mempunyai panduan persediaan untuk kedua-duanya: pelayan setempatnya menyokong format Anthropic yang digunakan Claude Code dan format OpenAI yang digunakan Codex (LM Studio). Sejauh mana ia berfungsi bergantung pada model yang anda muatkan.
- Adakah model pengekodan tempatan sebagus model awan?
- Model terbuka terbesar menghampirinya dalam banyak tugas, tetapi ia memerlukan Mac Studio dengan 256 atau 512 GB. Model yang muat dalam 32–64 GB berguna untuk pelengkapan kod, penerangan dan tugas ejen yang lebih kecil, dan memastikan kod anda kekal pada Mac anda.