Потянет ли M1 модель 70B?

С комфортом — нет. Модели 70B при 4 битах нужно около 40 GB, а у чипа M1 не больше 16 GB. Хорошо помещаются модели примерно до 21B параметров.

Сколько токенов в секунду выдает M1?

Для модели 8B при 4 битах потолок — около 15 токенов/с, а реальные запуски достигают примерно от половины до четырех пятых от него. Модели крупнее пропорционально медленнее.

Подходит ли M1 для ИИ?

Для локального запуска моделей важнее всего память и пропускная способность. У чипа M1 до 16 GB при 68 GB/s — этого хватает для моделей примерно до 21 млрд параметров. Кроме того, Mac с этим чипом может зарабатывать, выполняя задачи ИИ для MLX Network в MLX Node.

M1 для локальных LLM: память, скорость и модели

1Характеристики, важные для ИИ

Объединенная память	16 GB
Пропускная способность памяти	68 GB/s
Устанавливается в	MacBook Air (2020), 13-inch MacBook Pro (2020), Mac mini (2020), iMac (2021)
Выделенное место для него	Место Core: добывает до 20 MLX в день

2Какие модели поместятся

При 4 битах на вес модели нужно чуть больше половины гигабайта на миллиард параметров, плюс место для контекста и macOS. С 16 GB чип M1 без труда вмещает модели примерно до 21 млрд параметров.

Модель (4 бита)	Нужно памяти	Поместится на M1
Модель 8B	4,5 GB	Да
Модель 14B	7,9 GB	Да
Модель 32B	18 GB	Нет
Модель 70B	39,4 GB	Нет
gpt-oss-120b, смесь экспертов (MoE)	65 GB	Нет
Qwen3.5-397B-A17B, смесь экспертов (MoE)	223,3 GB	Нет
DeepSeek-V4.1-Flash, смесь экспертов (MoE)	316 GB	Нет

3Насколько быстро

Генерация текста упирается в пропускную способность памяти: для каждого нового токена активные веса модели читаются один раз. Разделив 68 GB/s чипа M1 на объем, читаемый за токен, получаем потолок ниже. Реальные запуски обычно достигают примерно 45–80% от него (тесты llama.cpp).

Модель (4 бита)	Чтение на токен	Потолок для одного чата
Модель 8B	4,5 GB	15 токенов/с
Модель 14B	7,9 GB	9 токенов/с

5Сравнение с другими чипами

6Вопросы

Потянет ли M1 модель 70B?: С комфортом — нет. Модели 70B при 4 битах нужно около 40 GB, а у чипа M1 не больше 16 GB. Хорошо помещаются модели примерно до 21B параметров.
Сколько токенов в секунду выдает M1?: Для модели 8B при 4 битах потолок — около 15 токенов/с, а реальные запуски достигают примерно от половины до четырех пятых от него. Модели крупнее пропорционально медленнее.
Подходит ли M1 для ИИ?: Для локального запуска моделей важнее всего память и пропускная способность. У чипа M1 до 16 GB при 68 GB/s — этого хватает для моделей примерно до 21 млрд параметров. Кроме того, Mac с этим чипом может зарабатывать, выполняя задачи ИИ для MLX Network в MLX Node.

Источники

Apple: M1apple.com
llama.cpp: Apple Silicon benchmarksgithub.com