Потянет ли M3 Pro модель 70B?

С комфортом — нет. Модели 70B при 4 битах нужно около 40 GB, а у чипа M3 Pro не больше 36 GB. Хорошо помещаются модели примерно до 48B параметров.

Сколько токенов в секунду выдает M3 Pro?

Для модели 8B при 4 битах потолок — около 33 токенов/с, а реальные запуски достигают примерно от половины до четырех пятых от него. Модели крупнее пропорционально медленнее.

Подходит ли M3 Pro для ИИ?

Для локального запуска моделей важнее всего память и пропускная способность. У чипа M3 Pro до 36 GB при 150 GB/s — этого хватает для моделей примерно до 48 млрд параметров. Кроме того, Mac с этим чипом может зарабатывать, выполняя задачи ИИ для MLX Network в MLX Node.

M3 Pro для локальных LLM: память, скорость и модели

1Характеристики, важные для ИИ

Объединенная память	36 GB
Пропускная способность памяти	150 GB/s
Устанавливается в	14- and 16-inch MacBook Pro (2023)
Выделенное место для него	Место Pro: добывает до 80 MLX в день

2Какие модели поместятся

При 4 битах на вес модели нужно чуть больше половины гигабайта на миллиард параметров, плюс место для контекста и macOS. С 36 GB чип M3 Pro без труда вмещает модели примерно до 48 млрд параметров.

Модель (4 бита)	Нужно памяти	Поместится на M3 Pro
Модель 8B	4,5 GB	Да
Модель 14B	7,9 GB	Да
Модель 32B	18 GB	Да
Модель 70B	39,4 GB	Нет
gpt-oss-120b, смесь экспертов (MoE)	65 GB	Нет
Qwen3.5-397B-A17B, смесь экспертов (MoE)	223,3 GB	Нет
DeepSeek-V4.1-Flash, смесь экспертов (MoE)	316 GB	Нет

3Насколько быстро

Генерация текста упирается в пропускную способность памяти: для каждого нового токена активные веса модели читаются один раз. Разделив 150 GB/s чипа M3 Pro на объем, читаемый за токен, получаем потолок ниже. Реальные запуски обычно достигают примерно 45–80% от него (тесты llama.cpp).

Модель (4 бита)	Чтение на токен	Потолок для одного чата
Модель 8B	4,5 GB	33 токенов/с
Модель 14B	7,9 GB	19 токенов/с
Модель 32B	18 GB	8 токенов/с

5Сравнение с другими чипами

6Вопросы

Потянет ли M3 Pro модель 70B?: С комфортом — нет. Модели 70B при 4 битах нужно около 40 GB, а у чипа M3 Pro не больше 36 GB. Хорошо помещаются модели примерно до 48B параметров.
Сколько токенов в секунду выдает M3 Pro?: Для модели 8B при 4 битах потолок — около 33 токенов/с, а реальные запуски достигают примерно от половины до четырех пятых от него. Модели крупнее пропорционально медленнее.
Подходит ли M3 Pro для ИИ?: Для локального запуска моделей важнее всего память и пропускная способность. У чипа M3 Pro до 36 GB при 150 GB/s — этого хватает для моделей примерно до 48 млрд параметров. Кроме того, Mac с этим чипом может зарабатывать, выполняя задачи ИИ для MLX Network в MLX Node.

Источники

Apple: M3, M3 Pro and M3 Maxapple.com
Apple: MacBook Pro (M3 Pro or M3 Max) specssupport.apple.com