1Характеристики, важные для ИИ
| Объединенная память | 512 GB |
|---|---|
| Пропускная способность памяти | 1,2 TB/s |
| Устанавливается в | Mac Studio (2026) |
| Выделенное место для него | Место Ultra Latest: добывает до 480 MLX в день |
2Какие модели поместятся
При 4 битах на вес модели нужно чуть больше половины гигабайта на миллиард параметров, плюс место для контекста и macOS. С 512 GB чип M5 Ultra без труда вмещает модели примерно до 682 млрд параметров.
| Модель (4 бита) | Нужно памяти | Поместится на M5 Ultra |
|---|---|---|
| Модель 8B | 4,5 GB | Да |
| Модель 14B | 7,9 GB | Да |
| Модель 32B | 18 GB | Да |
| Модель 70B | 39,4 GB | Да |
| gpt-oss-120b, смесь экспертов (MoE) | 65 GB | Да |
| Qwen3.5-397B-A17B, смесь экспертов (MoE) | 223,3 GB | Да |
| DeepSeek-V4.1-Flash, смесь экспертов (MoE) | 316 GB | Да |
3Насколько быстро
Генерация текста упирается в пропускную способность памяти: для каждого нового токена активные веса модели читаются один раз. Разделив 1,2 TB/s чипа M5 Ultra на объем, читаемый за токен, получаем потолок ниже. Реальные запуски обычно достигают примерно 45–80% от него (тесты llama.cpp).
| Модель (4 бита) | Чтение на токен | Потолок для одного чата |
|---|---|---|
| Модель 8B | 4,5 GB | 267 токенов/с |
| Модель 14B | 7,9 GB | 152 токенов/с |
| Модель 32B | 18 GB | 67 токенов/с |
| Модель 70B | 39,4 GB | 30 токенов/с |
| gpt-oss-120b, смесь экспертов (MoE) | 2,7 GB | 444 токенов/с |
| Qwen3.5-397B-A17B, смесь экспертов (MoE) | 9,6 GB | 125 токенов/с |
| DeepSeek-V4.1-Flash, смесь экспертов (MoE) | 9 GB | 133 токенов/с |
Измерено: на M5 Ultra (80-core GPU) llama.cpp в своих открытых тестах выдает 179 токенов/с с Llama-2-7B (Q4_0).
Чипы поколения M5 получили нейронные ускорители в GPU, поэтому читают запросы в несколько раз быстрее M4: по измерениям Apple, с MLX первый токен появляется в 3,3–4,1 раза быстрее (Apple).
5Сравнение с другими чипами
6Вопросы
- Потянет ли M5 Ultra модель 70B?
- Да. Модели 70B при 4 битах нужно около 40 GB, а у чипа M5 Ultra до 512 GB. Потолок для одного чата — около 30 токенов/с.
- Сколько токенов в секунду выдает M5 Ultra?
- Для модели 8B при 4 битах потолок — около 267 токенов/с, а реальные запуски достигают примерно от половины до четырех пятых от него. Модели крупнее пропорционально медленнее.
- Подходит ли M5 Ultra для ИИ?
- Для локального запуска моделей важнее всего память и пропускная способность. У чипа M5 Ultra до 512 GB при 1,2 TB/s — этого хватает для моделей примерно до 682 млрд параметров. Кроме того, Mac с этим чипом может зарабатывать, выполняя задачи ИИ для MLX Network в MLX Node.
Источники
- Apple: M6 and M5 Ultraapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com