1Характеристики, важные для ИИ
| Объединенная память | 64 GB |
|---|---|
| Пропускная способность памяти | 273 GB/s |
| Устанавливается в | Mac mini (2024), 14- and 16-inch MacBook Pro (2024) |
| Выделенное место для него | Место Pro: добывает до 80 MLX в день |
2Какие модели поместятся
При 4 битах на вес модели нужно чуть больше половины гигабайта на миллиард параметров, плюс место для контекста и macOS. С 64 GB чип M4 Pro без труда вмещает модели примерно до 85 млрд параметров.
| Модель (4 бита) | Нужно памяти | Поместится на M4 Pro |
|---|---|---|
| Модель 8B | 4,5 GB | Да |
| Модель 14B | 7,9 GB | Да |
| Модель 32B | 18 GB | Да |
| Модель 70B | 39,4 GB | Да |
| gpt-oss-120b, смесь экспертов (MoE) | 65 GB | Нет |
| Qwen3.5-397B-A17B, смесь экспертов (MoE) | 223,3 GB | Нет |
| DeepSeek-V4.1-Flash, смесь экспертов (MoE) | 316 GB | Нет |
3Насколько быстро
Генерация текста упирается в пропускную способность памяти: для каждого нового токена активные веса модели читаются один раз. Разделив 273 GB/s чипа M4 Pro на объем, читаемый за токен, получаем потолок ниже. Реальные запуски обычно достигают примерно 45–80% от него (тесты llama.cpp).
| Модель (4 бита) | Чтение на токен | Потолок для одного чата |
|---|---|---|
| Модель 8B | 4,5 GB | 61 токенов/с |
| Модель 14B | 7,9 GB | 35 токенов/с |
| Модель 32B | 18 GB | 15 токенов/с |
| Модель 70B | 39,4 GB | 7 токенов/с |
5Сравнение с другими чипами
6Вопросы
- Потянет ли M4 Pro модель 70B?
- Да. Модели 70B при 4 битах нужно около 40 GB, а у чипа M4 Pro до 64 GB. Потолок для одного чата — около 7 токенов/с.
- Сколько токенов в секунду выдает M4 Pro?
- Для модели 8B при 4 битах потолок — около 61 токенов/с, а реальные запуски достигают примерно от половины до четырех пятых от него. Модели крупнее пропорционально медленнее.
- Подходит ли M4 Pro для ИИ?
- Для локального запуска моделей важнее всего память и пропускная способность. У чипа M4 Pro до 64 GB при 273 GB/s — этого хватает для моделей примерно до 85 млрд параметров. Кроме того, Mac с этим чипом может зарабатывать, выполняя задачи ИИ для MLX Network в MLX Node.
Источники
- Apple: M4 Pro and M4 Maxapple.com
- Apple: Mac mini (2024) specssupport.apple.com