1Характеристики, важливі для ШІ
| Об’єднана пам’ять | 512 GB |
|---|---|
| Пропускна здатність пам’яті | 1,2 TB/s |
| Встановлюється в | Mac Studio (2026) |
| Виділене місце для нього | Місце Ultra Latest: добуває до 480 MLX на день |
2Які моделі вмістяться
При 4 бітах на вагу моделі потрібно трохи більше пів гігабайта на мільярд параметрів, плюс місце для контексту й macOS. Маючи 512 GB, чип M5 Ultra без проблем вміщує моделі приблизно до 682 млрд параметрів.
| Модель (4 біти) | Потрібно пам’яті | Вміститься на M5 Ultra |
|---|---|---|
| Модель 8B | 4,5 GB | Так |
| Модель 14B | 7,9 GB | Так |
| Модель 32B | 18 GB | Так |
| Модель 70B | 39,4 GB | Так |
| gpt-oss-120b, суміш експертів (MoE) | 65 GB | Так |
| Qwen3.5-397B-A17B, суміш експертів (MoE) | 223,3 GB | Так |
| DeepSeek-V4.1-Flash, суміш експертів (MoE) | 316 GB | Так |
3Наскільки швидко
Генерація тексту впирається в пропускну здатність пам’яті: для кожного нового токена активні ваги моделі читаються один раз. Поділивши 1,2 TB/s чипа M5 Ultra на обсяг, що читається за токен, отримуємо стелю нижче. Реальні запуски зазвичай досягають приблизно 45–80% від неї (тести llama.cpp).
| Модель (4 біти) | Читання на токен | Стеля для одного чату |
|---|---|---|
| Модель 8B | 4,5 GB | 267 токенів/с |
| Модель 14B | 7,9 GB | 152 токенів/с |
| Модель 32B | 18 GB | 67 токенів/с |
| Модель 70B | 39,4 GB | 30 токенів/с |
| gpt-oss-120b, суміш експертів (MoE) | 2,7 GB | 444 токенів/с |
| Qwen3.5-397B-A17B, суміш експертів (MoE) | 9,6 GB | 125 токенів/с |
| DeepSeek-V4.1-Flash, суміш експертів (MoE) | 9 GB | 133 токенів/с |
Виміряно: на M5 Ultra (80-core GPU) llama.cpp у своїх відкритих тестах видає 179 токенів/с з Llama-2-7B (Q4_0).
Чипи покоління M5 отримали нейронні прискорювачі в GPU, тож читають запити в кілька разів швидше за M4: за вимірюваннями Apple, з MLX перший токен з’являється в 3,3–4,1 раза швидше (Apple).
5Порівняння з іншими чипами
6Запитання
- Чи потягне M5 Ultra модель 70B?
- Так. Моделі 70B при 4 бітах потрібно близько 40 GB, а чип M5 Ultra має до 512 GB. Стеля для одного чату — близько 30 токенів/с.
- Скільки токенів за секунду видає M5 Ultra?
- Для моделі 8B при 4 бітах стеля — близько 267 токенів/с, а реальні запуски досягають приблизно від половини до чотирьох п’ятих від неї. Більші моделі пропорційно повільніші.
- Чи підходить M5 Ultra для ШІ?
- Для локального запуску моделей найважливіші пам’ять і пропускна здатність. Чип M5 Ultra має до 512 GB при 1,2 TB/s — цього вистачає для моделей приблизно до 682 млрд параметрів. Крім того, Mac із цим чипом може заробляти, виконуючи завдання ШІ для MLX Network у MLX Node.
Джерела
- Apple: M6 and M5 Ultraapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com