Потянет ли M2 Ultra модель 70B?

Да. Модели 70B при 4 битах нужно около 40 GB, а у чипа M2 Ultra до 192 GB. Потолок для одного чата — около 20 токенов/с.

Сколько токенов в секунду выдает M2 Ultra?

Для модели 8B при 4 битах потолок — около 178 токенов/с, а реальные запуски достигают примерно от половины до четырех пятых от него. Модели крупнее пропорционально медленнее.

Подходит ли M2 Ultra для ИИ?

Для локального запуска моделей важнее всего память и пропускная способность. У чипа M2 Ultra до 192 GB при 800 GB/s — этого хватает для моделей примерно до 256 млрд параметров. Кроме того, Mac с этим чипом может зарабатывать, выполняя задачи ИИ для MLX Network в MLX Node.

M2 Ultra для локальных LLM: память, скорость и модели

1Характеристики, важные для ИИ

Объединенная память	192 GB
Пропускная способность памяти	800 GB/s
Устанавливается в	Mac Studio (2023), Mac Pro (2023)
Выделенное место для него	Место Ultra: добывает до 320 MLX в день

2Какие модели поместятся

При 4 битах на вес модели нужно чуть больше половины гигабайта на миллиард параметров, плюс место для контекста и macOS. С 192 GB чип M2 Ultra без труда вмещает модели примерно до 256 млрд параметров.

Модель (4 бита)	Нужно памяти	Поместится на M2 Ultra
Модель 8B	4,5 GB	Да
Модель 14B	7,9 GB	Да
Модель 32B	18 GB	Да
Модель 70B	39,4 GB	Да
gpt-oss-120b, смесь экспертов (MoE)	65 GB	Да
Qwen3.5-397B-A17B, смесь экспертов (MoE)	223,3 GB	Нет
DeepSeek-V4.1-Flash, смесь экспертов (MoE)	316 GB	Нет

3Насколько быстро

Генерация текста упирается в пропускную способность памяти: для каждого нового токена активные веса модели читаются один раз. Разделив 800 GB/s чипа M2 Ultra на объем, читаемый за токен, получаем потолок ниже. Реальные запуски обычно достигают примерно 45–80% от него (тесты llama.cpp).

Модель (4 бита)	Чтение на токен	Потолок для одного чата
Модель 8B	4,5 GB	178 токенов/с
Модель 14B	7,9 GB	101 токенов/с
Модель 32B	18 GB	44 токенов/с
Модель 70B	39,4 GB	20 токенов/с
gpt-oss-120b, смесь экспертов (MoE)	2,7 GB	296 токенов/с

5Сравнение с другими чипами

6Вопросы

Потянет ли M2 Ultra модель 70B?: Да. Модели 70B при 4 битах нужно около 40 GB, а у чипа M2 Ultra до 192 GB. Потолок для одного чата — около 20 токенов/с.
Сколько токенов в секунду выдает M2 Ultra?: Для модели 8B при 4 битах потолок — около 178 токенов/с, а реальные запуски достигают примерно от половины до четырех пятых от него. Модели крупнее пропорционально медленнее.
Подходит ли M2 Ultra для ИИ?: Для локального запуска моделей важнее всего память и пропускная способность. У чипа M2 Ultra до 192 GB при 800 GB/s — этого хватает для моделей примерно до 256 млрд параметров. Кроме того, Mac с этим чипом может зарабатывать, выполняя задачи ИИ для MLX Network в MLX Node.

Источники

Apple: M2 Ultraapple.com
llama.cpp: Apple Silicon benchmarksgithub.com