По объему памяти
| Память | Работают хорошо | Самая большая из работающих хорошо | gpt-oss-20b |
|---|---|---|---|
| 64 ГБ800 ГБ/с | 39 | Nemotron 3.5 Bolt 74B A9B | 189–337 tok/s |
| 128 ГБ800 ГБ/с | 47 | Qwen3.5 122B A10B | 189–337 tok/s |
| 192 ГБ800 ГБ/с | 49 | MiniMax M2.7 | 189–337 tok/s |
Модели: Mac Pro (2023), Mac Pro (Rack, 2023). Не каждый объем памяти доступен в каждой модели; что предлагается для каждой, указано в технических характеристиках Apple.
Вопросы
- Подходит ли Mac Pro с чипом M2 Ultra для локальных LLM?
- С 192 ГБ он хорошо запускает 49 из 73 открытых моделей, вплоть до MiniMax M2.7, и генерирует около 189–337 токенов в секунду с gpt-oss-20b. M2 Ultra читает память со скоростью 800 ГБ/с — от этого зависит скорость генерации.
- Mac Pro с чипом M2 Ultra: сколько памяти нужно для ИИ?
- Открытых моделей, работающих хорошо: 39 при 64 ГБ и 49 при 192 ГБ, вплоть до MiniMax M2.7. Объем памяти определяет, какие модели поместятся, и увеличить его потом нельзя.
Другие Mac
Другие Mac с чипом M2 Ultra:
Один на один:
M2 Ultra для локального ИИ · Лучший Mac для локальных LLM · Все Mac
Как это рассчитано
Память: параметры модели при 8, 6, 4, 3 или 2 битах на вес плюс групповые масштабы MLX (полбита на вес) или ее нативный формат, а сверху — место для контекста. По умолчанию macOS отдает GPU около 75% объединенной памяти. Скорость: пропускная способность памяти, деленная на число байтов, читаемых на каждый токен, — это потолок для одного диалога; в публичных тестах llama.cpp на Apple Silicon реальные запуски достигают примерно 45–80% от него, и показан именно этот диапазон. Это оценки, а не измерения: измерьте свой Mac в MLX Bench. Данные моделей — из официальных карточек моделей, данные чипов — из технических характеристик Apple. Проверено 2026-10-19. Те же данные, что и на mlx.app/compare.