Чип M6 для локального ИИ.

1Характеристики, важные для ИИ

2Какие модели поместятся

При 4 битах на вес модели нужно чуть больше половины гигабайта на миллиард параметров, плюс место для контекста и macOS. С 32 GB чип M6 без труда вмещает модели примерно до 42 млрд параметров.

3Насколько быстро

Генерация текста упирается в пропускную способность памяти: для каждого нового токена активные веса модели читаются один раз. Разделив 170 GB/s чипа M6 на объем, читаемый за токен, получаем потолок ниже. Реальные запуски обычно достигают примерно 45–80% от него (тесты llama.cpp).

Чипы поколения M5 получили нейронные ускорители в GPU, поэтому читают запросы в несколько раз быстрее M4: по измерениям Apple, с MLX первый токен появляется в 3,3–4,1 раза быстрее (Apple).

5Сравнение с другими чипами

• M6 · 16 GB
• M6 · 24 GB
• M6 · 32 GB
• M5 vs M6

• M5: 32 GB, 153 GB/s
• Лучший Mac для локальных LLM.

6Вопросы

Потянет ли M6 модель 70B?

С комфортом — нет. Модели 70B при 4 битах нужно около 40 GB, а у чипа M6 не больше 32 GB. Хорошо помещаются модели примерно до 42B параметров.

Сколько токенов в секунду выдает M6?

Для модели 8B при 4 битах потолок — около 38 токенов/с, а реальные запуски достигают примерно от половины до четырех пятых от него. Модели крупнее пропорционально медленнее.

Подходит ли M6 для ИИ?

Для локального запуска моделей важнее всего память и пропускная способность. У чипа M6 до 32 GB при 170 GB/s — этого хватает для моделей примерно до 42 млрд параметров. Кроме того, Mac с этим чипом может зарабатывать, выполняя задачи ИИ для MLX Network в MLX Node.