Потянет ли M1 Max модель 70B?

Да. Модели 70B при 4 битах нужно около 40 GB, а у чипа M1 Max до 64 GB. Потолок для одного чата — около 10 токенов/с.

Сколько токенов в секунду выдает M1 Max?

Для модели 8B при 4 битах потолок — около 89 токенов/с, а реальные запуски достигают примерно от половины до четырех пятых от него. Модели крупнее пропорционально медленнее.

Подходит ли M1 Max для ИИ?

Для локального запуска моделей важнее всего память и пропускная способность. У чипа M1 Max до 64 GB при 400 GB/s — этого хватает для моделей примерно до 85 млрд параметров. Кроме того, Mac с этим чипом может зарабатывать, выполняя задачи ИИ для MLX Network в MLX Node.

M1 Max для локальных LLM: память, скорость и модели

1Характеристики, важные для ИИ

Объединенная память	64 GB
Пропускная способность памяти	400 GB/s
Устанавливается в	14- and 16-inch MacBook Pro (2021), Mac Studio (2022)
Выделенное место для него	Место Pro: добывает до 80 MLX в день

2Какие модели поместятся

При 4 битах на вес модели нужно чуть больше половины гигабайта на миллиард параметров, плюс место для контекста и macOS. С 64 GB чип M1 Max без труда вмещает модели примерно до 85 млрд параметров.

Модель (4 бита)	Нужно памяти	Поместится на M1 Max
Модель 8B	4,5 GB	Да
Модель 14B	7,9 GB	Да
Модель 32B	18 GB	Да
Модель 70B	39,4 GB	Да
gpt-oss-120b, смесь экспертов (MoE)	65 GB	Нет
Qwen3.5-397B-A17B, смесь экспертов (MoE)	223,3 GB	Нет
DeepSeek-V4.1-Flash, смесь экспертов (MoE)	316 GB	Нет

3Насколько быстро

Генерация текста упирается в пропускную способность памяти: для каждого нового токена активные веса модели читаются один раз. Разделив 400 GB/s чипа M1 Max на объем, читаемый за токен, получаем потолок ниже. Реальные запуски обычно достигают примерно 45–80% от него (тесты llama.cpp).

Модель (4 бита)	Чтение на токен	Потолок для одного чата
Модель 8B	4,5 GB	89 токенов/с
Модель 14B	7,9 GB	51 токенов/с
Модель 32B	18 GB	22 токенов/с
Модель 70B	39,4 GB	10 токенов/с

5Сравнение с другими чипами

6Вопросы

Потянет ли M1 Max модель 70B?: Да. Модели 70B при 4 битах нужно около 40 GB, а у чипа M1 Max до 64 GB. Потолок для одного чата — около 10 токенов/с.
Сколько токенов в секунду выдает M1 Max?: Для модели 8B при 4 битах потолок — около 89 токенов/с, а реальные запуски достигают примерно от половины до четырех пятых от него. Модели крупнее пропорционально медленнее.
Подходит ли M1 Max для ИИ?: Для локального запуска моделей важнее всего память и пропускная способность. У чипа M1 Max до 64 GB при 400 GB/s — этого хватает для моделей примерно до 85 млрд параметров. Кроме того, Mac с этим чипом может зарабатывать, выполняя задачи ИИ для MLX Network в MLX Node.

Источники

Apple: M1 Pro and M1 Maxapple.com
llama.cpp: Apple Silicon benchmarksgithub.com