Чип M5 для локального ИИ.

1Характеристики, важные для ИИ

2Какие модели поместятся

При 4 битах на вес модели нужно чуть больше половины гигабайта на миллиард параметров, плюс место для контекста и macOS. С 32 GB чип M5 без труда вмещает модели примерно до 42 млрд параметров.

3Насколько быстро

Генерация текста упирается в пропускную способность памяти: для каждого нового токена активные веса модели читаются один раз. Разделив 153 GB/s чипа M5 на объем, читаемый за токен, получаем потолок ниже. Реальные запуски обычно достигают примерно 45–80% от него (тесты llama.cpp).

Измерено: на M5 (10-core GPU) llama.cpp в своих открытых тестах выдает 32 токенов/с с Llama-2-7B (Q4_0).

Чипы поколения M5 получили нейронные ускорители в GPU, поэтому читают запросы в несколько раз быстрее M4: по измерениям Apple, с MLX первый токен появляется в 3,3–4,1 раза быстрее (Apple).

5Сравнение с другими чипами

• M5 · 16 GB
• M5 · 24 GB
• M5 · 32 GB
• M4 vs M5
• M5 vs M5 Pro
• M5 vs M6

• M4: 32 GB, 120 GB/s
• M6: 32 GB, 170 GB/s
• M5 Pro: 64 GB, 307 GB/s
• Лучший Mac для локальных LLM.

6Вопросы

Потянет ли M5 модель 70B?

С комфортом — нет. Модели 70B при 4 битах нужно около 40 GB, а у чипа M5 не больше 32 GB. Хорошо помещаются модели примерно до 42B параметров.

Сколько токенов в секунду выдает M5?

Для модели 8B при 4 битах потолок — около 34 токенов/с, а реальные запуски достигают примерно от половины до четырех пятых от него. Модели крупнее пропорционально медленнее.

Подходит ли M5 для ИИ?

Для локального запуска моделей важнее всего память и пропускная способность. У чипа M5 до 32 GB при 153 GB/s — этого хватает для моделей примерно до 42 млрд параметров. Кроме того, Mac с этим чипом может зарабатывать, выполняя задачи ИИ для MLX Network в MLX Node.