Коротко
- 16 ГБ: комфортно працюють лише малі загальні моделі; Qwen3 Coder 30B A3B вміщається лише в нижчій точності. 24 ГБ: Devstral Small 2 (24B). 32–64 ГБ: Qwen3 Coder 30B A3B і Devstral Small 2 у 4 бітах.
- Від 96 ГБ: Qwen3 Coder Next (80B, 3B активних). 128 ГБ: ще й Devstral 2 (123B), повільно. 512 ГБ: Kimi K2.7 Code у низькій точності.
- Моделі для коду із сумішшю експертів читають на токен лише кілька мільярдів ваг, тож Qwen3 Coder 30B A3B може писати в кілька разів швидше за щільну Devstral Small 2 на тому самому Mac.
- Агенти для програмування надсилають довгі запити: залиште кілька гігабайтів на контекст і перевірте, скільки оперативної пам’яті потрібно LLM.
1Моделі для коду, що добре працюють, за обсягом пам’яті
«Добре працює» означає, що модель вміщається в 4 бітах або краще із запасом на контекст і пише 10 чи більше токенів за секунду — те саме правило, що й на кожній сторінці Mac. Моделі для коду з нашого каталогу відкритих моделей, а також загальна модель із найвищим Artificial Analysis Intelligence Index, що добре працює при цьому обсязі й теж пише код:
| Пам’ять Mac | Створені для коду | Найсильніша загальна модель |
|---|---|---|
| 16 ГБ | Qwen3 Coder 30B A3B лише в нижчій точності | MiniCPM5 2B |
| 24 ГБ | Devstral Small 2 | MiniCPM5 2B |
| 32 ГБ | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 48 ГБ | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 64 ГБ | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 96 ГБ | Qwen3 Coder Next, Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 128 ГБ | Qwen3 Coder Next, Devstral 2 (123B) (повільніше) | Qwen3.8 27B |
| 256 ГБ | Qwen3 Coder Next, Devstral 2 (повільніше) | Qwen3.8 Flash Next |
| 512 ГБ | Kimi K2.7 Code у нижчій точності, Qwen3 Coder Next | DeepSeek V4.1 Flash 1017 |
2Чому моделі для коду із сумішшю експертів такі швидкі
Швидкість письма обмежена тим, скільки байтів ваг читається на кожен токен. Щільна модель читає їх усі; модель із сумішшю експертів — лише активну частину. На Mac mini з M5 Pro (307 ГБ/с, Apple) у 4 бітах:
| Модель | Параметри | Читається на токен | Стеля для одного чату |
|---|---|---|---|
| Qwen3 Coder 30B A3B | 30,5B загалом, 3,3B активних | близько 1,9 ГБ | близько 165 токенів/с |
| Devstral Small 2 | 24B, щільна | близько 13,5 ГБ | близько 23 токенів/с |
Швидкість — не якість: щільна модель може краще писати код при тій самій пам’яті. Спробуйте обидві на власному коді.
3Залиште місце для контексту
Інструменти для програмування надсилають багато тексту: потрібні файли, описи інструментів і всю розмову. Цей контекст зберігається в пам’яті поруч із моделлю, у KV cache, і росте з кожним токеном. Для Qwen3 8B 32 000 токенів займають близько 4,8 ГБ (розрахунок тут). Більшим моделям потрібно більше на токен.
Тож якщо модель ледве вміщається, візьміть меншу або нижчу точність, а не урізайте контекст. Довгі запити ще й потребують часу на читання, перш ніж з’явиться перше слово; покоління M5 читає запити швидше, ніж M4 (Apple).
4Використовуйте її в редакторі чи агенті
Інструменти для програмування спілкуються з моделлю через API. Запустіть модель локально й укажіть інструменту її адресу:
- Локальний сервер LM Studio розуміє формати OpenAI та Anthropic, а LM Studio має інструкції з налаштування для Claude Code, Codex, OpenClaw і Hermes Agent (LM Studio).
- mlx-lm:
mlx_lm.server --model <model>віддає API у стилі OpenAI на порту 8080 (mlx-lm). - Ollama теж віддає API, сумісний з OpenAI: найкращі застосунки для запуску LLM на Mac їх порівнюють.
Агенти викликають інструменти, тож модель має видавати виклики інструментів у форматі, який розуміє сервер. Моделі для коду й агентів, як-от Qwen3 Coder і Devstral, навчені цього; малі загальні моделі часто роблять це ненадійно.
У розділі для програмування AI App Store зібрано агентів і редактори коду, як-от Claude Code і Codex, у кожного — офіційне завантаження від розробника, ціна і те, куди йдуть ваші дані.
5Запитання
- Яка найкраща локальна LLM для коду на Mac із 32 ГБ?
- Qwen3 Coder 30B A3B і Devstral Small 2 обидві добре працюють у 4 бітах. Qwen3 Coder пише значно швидше, бо на токен читається лише 3,3B із її 30,5B параметрів; спробуйте обидві на власному коді.
- Чи запустить Mac із 16 ГБ модель для коду?
- Малі моделі — так. Qwen3 Coder 30B A3B вміщається в 16 ГБ лише в нижчій точності й майже без запасу на контекст. Для агентів програмування краще починати з 32 ГБ або більше.
- Чи можна використовувати Claude Code або Codex з локальною моделлю?
- Так. LM Studio має інструкції для обох: його локальний сервер розуміє формат Anthropic, яким користується Claude Code, і формат OpenAI, яким користується Codex (LM Studio). Наскільки добре це працює, залежить від завантаженої моделі.
- Чи локальна модель для коду така ж добра, як хмарна?
- Найбільші відкриті моделі наближаються до них у багатьох завданнях, але їм потрібен Mac Studio з 256 або 512 ГБ. Моделі, що вміщаються в 32–64 ГБ, корисні для автодоповнення, пояснень і менших завдань агентів і тримають ваш код на вашому Mac.