Потянет ли M2 Pro модель 70B?

С комфортом — нет. Модели 70B при 4 битах нужно около 40 GB, а у чипа M2 Pro не больше 32 GB. Хорошо помещаются модели примерно до 42B параметров.

Сколько токенов в секунду выдает M2 Pro?

Для модели 8B при 4 битах потолок — около 44 токенов/с, а реальные запуски достигают примерно от половины до четырех пятых от него. Модели крупнее пропорционально медленнее.

Подходит ли M2 Pro для ИИ?

Для локального запуска моделей важнее всего память и пропускная способность. У чипа M2 Pro до 32 GB при 200 GB/s — этого хватает для моделей примерно до 42 млрд параметров. Кроме того, Mac с этим чипом может зарабатывать, выполняя задачи ИИ для MLX Network в MLX Node.

M2 Pro для локальных LLM: память, скорость и модели

1Характеристики, важные для ИИ

Объединенная память	32 GB
Пропускная способность памяти	200 GB/s
Устанавливается в	14- and 16-inch MacBook Pro (2023), Mac mini (2023)
Выделенное место для него	Место Pro: добывает до 80 MLX в день

2Какие модели поместятся

При 4 битах на вес модели нужно чуть больше половины гигабайта на миллиард параметров, плюс место для контекста и macOS. С 32 GB чип M2 Pro без труда вмещает модели примерно до 42 млрд параметров.

Модель (4 бита)	Нужно памяти	Поместится на M2 Pro
Модель 8B	4,5 GB	Да
Модель 14B	7,9 GB	Да
Модель 32B	18 GB	Да
Модель 70B	39,4 GB	Нет
gpt-oss-120b, смесь экспертов (MoE)	65 GB	Нет
Qwen3.5-397B-A17B, смесь экспертов (MoE)	223,3 GB	Нет
DeepSeek-V4.1-Flash, смесь экспертов (MoE)	316 GB	Нет

3Насколько быстро

Генерация текста упирается в пропускную способность памяти: для каждого нового токена активные веса модели читаются один раз. Разделив 200 GB/s чипа M2 Pro на объем, читаемый за токен, получаем потолок ниже. Реальные запуски обычно достигают примерно 45–80% от него (тесты llama.cpp).

Модель (4 бита)	Чтение на токен	Потолок для одного чата
Модель 8B	4,5 GB	44 токенов/с
Модель 14B	7,9 GB	25 токенов/с
Модель 32B	18 GB	11 токенов/с

5Сравнение с другими чипами

6Вопросы

Потянет ли M2 Pro модель 70B?: С комфортом — нет. Модели 70B при 4 битах нужно около 40 GB, а у чипа M2 Pro не больше 32 GB. Хорошо помещаются модели примерно до 42B параметров.
Сколько токенов в секунду выдает M2 Pro?: Для модели 8B при 4 битах потолок — около 44 токенов/с, а реальные запуски достигают примерно от половины до четырех пятых от него. Модели крупнее пропорционально медленнее.
Подходит ли M2 Pro для ИИ?: Для локального запуска моделей важнее всего память и пропускная способность. У чипа M2 Pro до 32 GB при 200 GB/s — этого хватает для моделей примерно до 42 млрд параметров. Кроме того, Mac с этим чипом может зарабатывать, выполняя задачи ИИ для MLX Network в MLX Node.

Источники

Apple: M2 Pro and M2 Maxapple.com
llama.cpp: Apple Silicon benchmarksgithub.com