Коротко
- 16 ГБ: свободно работают только небольшие универсальные модели; Qwen3 Coder 30B A3B помещается лишь в пониженной точности. 24 ГБ: Devstral Small 2 (24B). 32–64 ГБ: Qwen3 Coder 30B A3B и Devstral Small 2 в 4 битах.
- От 96 ГБ: Qwen3 Coder Next (80B, 3B активных). 128 ГБ: еще и Devstral 2 (123B), медленно. 512 ГБ: Kimi K2.7 Code в пониженной точности.
- Модели mixture-of-experts для кода читают на каждый токен лишь несколько миллиардов весов, поэтому Qwen3 Coder 30B A3B может писать в несколько раз быстрее плотной Devstral Small 2 на том же Mac.
- Агенты для кода отправляют длинные запросы: оставьте несколько гигабайт под контекст и посмотрите, сколько памяти нужно для LLM.
1Модели для кода, которые хорошо работают, по объему памяти
«Хорошо работает» значит: помещается в 4 битах или лучше с запасом под контекст и выдает 10 или больше токенов в секунду — то же правило, что и на каждой странице Mac. Модели, созданные для кода, из нашего каталога открытых моделей, плюс универсальная модель с самым высоким Intelligence Index от Artificial Analysis, которая хорошо работает при этом объеме и тоже пишет код:
| Память Mac | Создана для кода | Самая сильная универсальная модель |
|---|---|---|
| 16 ГБ | Qwen3 Coder 30B A3B только в пониженной точности | MiniCPM5 2B |
| 24 ГБ | Devstral Small 2 | MiniCPM5 2B |
| 32 ГБ | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 48 ГБ | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 64 ГБ | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 96 ГБ | Qwen3 Coder Next, Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 128 ГБ | Qwen3 Coder Next, Devstral 2 (123B) (медленнее) | Qwen3.8 27B |
| 256 ГБ | Qwen3 Coder Next, Devstral 2 (медленнее) | Qwen3.8 Flash Next |
| 512 ГБ | Kimi K2.7 Code в пониженной точности, Qwen3 Coder Next | DeepSeek V4.1 Flash 1017 |
2Почему модели mixture-of-experts для кода такие быстрые
Скорость генерации ограничена тем, сколько байт весов читается на каждый токен. Плотная модель читает их все; модель mixture-of-experts — только активную часть. На Mac mini с M5 Pro (307 ГБ/с, Apple), в 4 битах:
| Модель | Параметры | Читается на токен | Потолок для одного чата |
|---|---|---|---|
| Qwen3 Coder 30B A3B | 30.5B всего, 3.3B активных | около 1,9 ГБ | около 165 токенов/с |
| Devstral Small 2 | 24B, плотная | около 13,5 ГБ | около 23 токенов/с |
Скорость — это не качество: плотная модель при том же объеме памяти может писать код лучше. Попробуйте обе на своем коде.
3Оставьте место под контекст
Инструменты для кода отправляют много текста: файлы, с которыми идет работа, описания инструментов и весь диалог. Этот контекст хранится в памяти рядом с моделью, в KV-кэше, и растет с каждым токеном. У Qwen3 8B 32 000 токенов занимают около 4,8 ГБ (расчет здесь). Более крупным моделям нужно больше на токен.
Поэтому, если модель помещается впритык, возьмите модель поменьше или пониженную точность, а не урезайте контекст. Длинные запросы к тому же читаются какое-то время, прежде чем появится первое слово; поколение M5 читает запросы быстрее, чем M4 (Apple).
4Подключите ее к редактору или агенту
Инструменты для кода общаются с моделью через API. Запустите модель локально и укажите инструменту ее адрес:
- Локальный сервер LM Studio понимает форматы OpenAI и Anthropic, а у LM Studio есть инструкции по настройке Claude Code, Codex, OpenClaw и Hermes Agent (LM Studio).
- mlx-lm:
mlx_lm.server --model <model>отдает API в стиле OpenAI на порту 8080 (mlx-lm). - Ollama тоже отдает API, совместимый с OpenAI: их сравнивает обзор лучших программ для LLM на Mac.
Агенты вызывают инструменты, поэтому модель должна выдавать вызовы инструментов в формате, который понимает сервер. Модели для кода и агентов, такие как Qwen3 Coder и Devstral, обучены этому; небольшие универсальные модели часто справляются с этим ненадежно.
В разделе для программирования AI App Store собраны агенты и редакторы кода, например Claude Code и Codex, у каждого — официальная загрузка от разработчика, цена и то, куда уходят ваши данные.
5Вопросы
- Какая локальная LLM для кода лучше всего подходит для Mac с 32 ГБ?
- Qwen3 Coder 30B A3B и Devstral Small 2 обе хорошо работают в 4 битах. Qwen3 Coder пишет намного быстрее, потому что на каждый токен читаются лишь 3.3B из ее 30.5B параметров; попробуйте обе на своем коде.
- Потянет ли Mac с 16 ГБ модель для кода?
- Небольшие модели — да. Qwen3 Coder 30B A3B помещается в 16 ГБ только в пониженной точности и почти без места под контекст. Для агентов для кода лучше начинать с 32 ГБ или больше.
- Можно ли использовать Claude Code или Codex с локальной моделью?
- Да. У LM Studio есть инструкции для обоих: его локальный сервер понимает формат Anthropic, которым пользуется Claude Code, и формат OpenAI, которым пользуется Codex (LM Studio). Насколько хорошо это работает, зависит от загруженной модели.
- Локальная модель для кода так же хороша, как облачная?
- Самые большие открытые модели на многих задачах подходят близко, но им нужен Mac Studio с 256 или 512 ГБ. Модели, которые помещаются в 32–64 ГБ, полезны для автодополнения, объяснений и небольших задач агентов и оставляют ваш код на вашем Mac.