Потянет ли M3 Max модель 70B?

Да. Модели 70B при 4 битах нужно около 40 GB, а у чипа M3 Max до 128 GB. Потолок для одного чата — около 10 токенов/с.

Сколько токенов в секунду выдает M3 Max?

Для модели 8B при 4 битах потолок — около 89 токенов/с, а реальные запуски достигают примерно от половины до четырех пятых от него. Модели крупнее пропорционально медленнее.

Подходит ли M3 Max для ИИ?

Для локального запуска моделей важнее всего память и пропускная способность. У чипа M3 Max до 128 GB при 400 GB/s — этого хватает для моделей примерно до 170 млрд параметров. Кроме того, Mac с этим чипом может зарабатывать, выполняя задачи ИИ для MLX Network в MLX Node.

M3 Max для локальных LLM: память, скорость и модели

1Характеристики, важные для ИИ

Объединенная память	128 GB
Пропускная способность памяти	400 GB/s, или 300 GB/s в младшей конфигурации
Устанавливается в	14- and 16-inch MacBook Pro (2023)
Выделенное место для него	Место Pro: добывает до 80 MLX в день

2Какие модели поместятся

При 4 битах на вес модели нужно чуть больше половины гигабайта на миллиард параметров, плюс место для контекста и macOS. С 128 GB чип M3 Max без труда вмещает модели примерно до 170 млрд параметров.

Модель (4 бита)	Нужно памяти	Поместится на M3 Max
Модель 8B	4,5 GB	Да
Модель 14B	7,9 GB	Да
Модель 32B	18 GB	Да
Модель 70B	39,4 GB	Да
gpt-oss-120b, смесь экспертов (MoE)	65 GB	Да
Qwen3.5-397B-A17B, смесь экспертов (MoE)	223,3 GB	Нет
DeepSeek-V4.1-Flash, смесь экспертов (MoE)	316 GB	Нет

3Насколько быстро

Генерация текста упирается в пропускную способность памяти: для каждого нового токена активные веса модели читаются один раз. Разделив 400 GB/s чипа M3 Max на объем, читаемый за токен, получаем потолок ниже. Реальные запуски обычно достигают примерно 45–80% от него (тесты llama.cpp).

Модель (4 бита)	Чтение на токен	Потолок для одного чата
Модель 8B	4,5 GB	89 токенов/с
Модель 14B	7,9 GB	51 токенов/с
Модель 32B	18 GB	22 токенов/с
Модель 70B	39,4 GB	10 токенов/с
gpt-oss-120b, смесь экспертов (MoE)	2,7 GB	148 токенов/с

5Сравнение с другими чипами

6Вопросы

Потянет ли M3 Max модель 70B?: Да. Модели 70B при 4 битах нужно около 40 GB, а у чипа M3 Max до 128 GB. Потолок для одного чата — около 10 токенов/с.
Сколько токенов в секунду выдает M3 Max?: Для модели 8B при 4 битах потолок — около 89 токенов/с, а реальные запуски достигают примерно от половины до четырех пятых от него. Модели крупнее пропорционально медленнее.
Подходит ли M3 Max для ИИ?: Для локального запуска моделей важнее всего память и пропускная способность. У чипа M3 Max до 128 GB при 400 GB/s — этого хватает для моделей примерно до 170 млрд параметров. Кроме того, Mac с этим чипом может зарабатывать, выполняя задачи ИИ для MLX Network в MLX Node.

Источники

Apple: M3, M3 Pro and M3 Maxapple.com
Apple: MacBook Pro (M3 Pro or M3 Max) specssupport.apple.com