По объему памяти
| Память | Работают хорошо | Самая большая из работающих хорошо | gpt-oss-20b |
|---|---|---|---|
| 24 ГБ307 ГБ/с | 28 | Gemma 4 26B A4B | 73–129 tok/s |
| 48 ГБ307 ГБ/с | 33 | Qwen3.6 35B A3B | 73–129 tok/s |
| 64 ГБ307 ГБ/с | 34 | Nemotron 3.5 Bolt 74B A9B | 73–129 tok/s |
Модели: Mac mini (M6 or M5 Pro). Не каждый объем памяти доступен в каждой модели; что предлагается для каждой, указано в технических характеристиках Apple.
Вопросы
- Подходит ли Mac mini с чипом M5 Pro для локальных LLM?
- С 64 ГБ он хорошо запускает 34 из 73 открытых моделей, вплоть до Nemotron 3.5 Bolt 74B A9B, и генерирует около 73–129 токенов в секунду с gpt-oss-20b. M5 Pro читает память со скоростью 307 ГБ/с — от этого зависит скорость генерации.
- Mac mini с чипом M5 Pro: сколько памяти нужно для ИИ?
- Открытых моделей, работающих хорошо: 28 при 24 ГБ и 34 при 64 ГБ, вплоть до Nemotron 3.5 Bolt 74B A9B. Объем памяти определяет, какие модели поместятся, и увеличить его потом нельзя.
Другие Mac
Mac mini с другими чипами:
Другие Mac с чипом M5 Pro:
Один на один:
M5 Pro для локального ИИ · Лучший Mac для локальных LLM · Все Mac
Как это рассчитано
Память: параметры модели при 8, 6, 4, 3 или 2 битах на вес плюс групповые масштабы MLX (полбита на вес) или ее нативный формат, а сверху — место для контекста. По умолчанию macOS отдает GPU около 75% объединенной памяти. Скорость: пропускная способность памяти, деленная на число байтов, читаемых на каждый токен, — это потолок для одного диалога; в публичных тестах llama.cpp на Apple Silicon реальные запуски достигают примерно 45–80% от него, и показан именно этот диапазон. Это оценки, а не измерения: измерьте свой Mac в MLX Bench. Данные моделей — из официальных карточек моделей, данные чипов — из технических характеристик Apple. Проверено 2026-10-19. Те же данные, что и на mlx.app/compare.