За обсягом пам’яті
| Пам’ять | Працюють добре | Найбільша з тих, що працюють добре | gpt-oss-20b |
|---|---|---|---|
| 64 ГБ800 ГБ/с | 39 | Nemotron 3.5 Bolt 74B A9B | 189–337 tok/s |
| 128 ГБ800 ГБ/с | 47 | Qwen3.5 122B A10B | 189–337 tok/s |
| 192 ГБ800 ГБ/с | 49 | MiniMax M2.7 | 189–337 tok/s |
Моделі: Mac Pro (2023), Mac Pro (Rack, 2023). Не кожен обсяг пам’яті доступний у кожній моделі; що пропонується для кожної, вказано в технічних характеристиках Apple.
Запитання
- Чи підходить Mac Pro із чипом M2 Ultra для локальних LLM?
- Із 192 ГБ він добре запускає 49 з 73 відкритих моделей, аж до MiniMax M2.7, і генерує близько 189–337 токенів за секунду із gpt-oss-20b. M2 Ultra читає пам’ять зі швидкістю 800 ГБ/с — від цього залежить швидкість генерації.
- Mac Pro із чипом M2 Ultra: скільки пам’яті потрібно для ШІ?
- Відкритих моделей, що працюють добре: 39 із 64 ГБ і 49 із 192 ГБ, аж до MiniMax M2.7. Обсяг пам’яті визначає, які моделі вмістяться, і збільшити його потім не можна.
Інші Mac
Інші Mac із чипом M2 Ultra:
Віч-на-віч:
M2 Ultra для локального ШІ · Найкращий Mac для локальних LLM · Усі Mac
Як це розраховано
Пам’ять: параметри моделі за 8, 6, 4, 3 або 2 біт на вагу плюс групові масштаби MLX (пів біта на вагу) або її нативний формат, а зверху — місце для контексту. За замовчуванням macOS дає GPU близько 75% об’єднаної пам’яті. Швидкість: пропускна здатність пам’яті, поділена на кількість байтів, що читаються на кожен токен, — це стеля для однієї розмови; у публічних тестах llama.cpp на Apple Silicon реальні запуски досягають приблизно 45–80% від неї, і показано саме цей діапазон. Це оцінки, а не вимірювання: виміряйте свій Mac у MLX Bench. Дані моделей — з офіційних карток моделей, дані чипів — з технічних характеристик Apple. Перевірено 2026-10-19. Ті самі дані, що й на mlx.app/compare.