ВойтиСоздать кошелек

Чип M2 для локального ИИ.

У чипа M2 до 24 GB объединенной памяти со скоростью чтения до 100 GB/s. Вот что это значит для запуска языковых моделей на Mac с этим чипом — по расчетам на основе данных самой Apple.

1Характеристики, важные для ИИ

Объединенная память24 GB
Пропускная способность памяти100 GB/s
Устанавливается вMacBook Air (2022, 2023), 13-inch MacBook Pro (2022), Mac mini (2023)
Выделенное место для негоМесто Core: добывает до 20 MLX в день

2Какие модели поместятся

При 4 битах на вес модели нужно чуть больше половины гигабайта на миллиард параметров, плюс место для контекста и macOS. С 24 GB чип M2 без труда вмещает модели примерно до 32 млрд параметров.

Модель (4 бита)Нужно памятиПоместится на M2
Модель 8B4,5 GBДа
Модель 14B7,9 GBДа
Модель 32B18 GBДа
Модель 70B39,4 GBНет
gpt-oss-120b, смесь экспертов (MoE)65 GBНет
Qwen3.5-397B-A17B, смесь экспертов (MoE)223,3 GBНет
DeepSeek-V4.1-Flash, смесь экспертов (MoE)316 GBНет

3Насколько быстро

Генерация текста упирается в пропускную способность памяти: для каждого нового токена активные веса модели читаются один раз. Разделив 100 GB/s чипа M2 на объем, читаемый за токен, получаем потолок ниже. Реальные запуски обычно достигают примерно 45–80% от него (тесты llama.cpp).

Модель (4 бита)Чтение на токенПотолок для одного чата
Модель 8B4,5 GB22 токенов/с
Модель 14B7,9 GB13 токенов/с
Модель 32B18 GB6 токенов/с

5Сравнение с другими чипами

6Вопросы

Потянет ли M2 модель 70B?
С комфортом — нет. Модели 70B при 4 битах нужно около 40 GB, а у чипа M2 не больше 24 GB. Хорошо помещаются модели примерно до 32B параметров.
Сколько токенов в секунду выдает M2?
Для модели 8B при 4 битах потолок — около 22 токенов/с, а реальные запуски достигают примерно от половины до четырех пятых от него. Модели крупнее пропорционально медленнее.
Подходит ли M2 для ИИ?
Для локального запуска моделей важнее всего память и пропускная способность. У чипа M2 до 24 GB при 100 GB/s — этого хватает для моделей примерно до 32 млрд параметров. Кроме того, Mac с этим чипом может зарабатывать, выполняя задачи ИИ для MLX Network в MLX Node.

Источники

  1. Apple: M2apple.com
  2. llama.cpp: Apple Silicon benchmarksgithub.com
M2 для локальных LLM: память, скорость и модели | MLX