Пліч-о-пліч
| M5 Ultra | RTX PRO 6000 | |
|---|---|---|
| Що це | Mac Studio (M5 Max or M5 Ultra) | Відеокарта для настільного ПК |
| Обсяги пам’яті | 96, 256, 512 ГБ | 96 ГБ |
| Пропускна здатність пам’яті | 1 200 ГБ/с | 1 792 ГБ/с |
| Для моделей, щонайбільше | близько 384 ГБ | близько 95 ГБ |
| Моделі, що працюють добре | 61 з 73 | 50 з 73 |
| Виміряно: генерація | 179 tok/s | 274 tok/s |
| Виміряно: читання промпту | 4 945 tok/s | 14 855 tok/s |
Рядки з вимірами: найкращий результат кожної машини у відкритих бенчмарках llama.cpp з Llama 2 7B Q4_0 — генерація 128 токенів (tg128) і читання промпту з 512 токенів (pp512), у токенах за секунду. Mac працював через Metal, RTX PRO 6000 — через CUDA. Результати Apple Silicon · Результати RTX PRO 6000 Для моделей ми рахуємо власні 96 ГБ у RTX PRO 6000 мінус приблизно 1 ГБ і близько 75% спільної пам’яті Mac — типове значення macOS.
Де хто виграє
- Швидкість генерації. RTX PRO 6000 читає пам’ять приблизно на 49% швидше, ніж M5 Ultra (1 792 проти 1 200 ГБ/с), тож з будь-якою моделлю, що вміщується в обидва, генерує приблизно на 49% швидше.
- Розмір моделей. У M5 Ultra близько 384 ГБ для моделей, у RTX PRO 6000 — близько 95 ГБ. 61 із 73 популярних відкритих моделей добре працюють на M5 Ultra, 50 — на RTX PRO 6000.
- Читання довгих промптів. У вимірі llama.cpp RTX PRO 6000 читає промпт приблизно в 3 раза швидше (14 855 проти 4 945 токенів за секунду). Читання промпту залежить від обчислювальної потужності GPU, а не від пропускної здатності пам’яті, і саме воно визначає очікування до першого слова з довгим документом чи кодовою базою.
- Програми. RTX PRO 6000 працює з CUDA від NVIDIA, яку більшість ШІ-програм підтримує насамперед, зокрема код для навчання та багато інструментів для зображень і відео. На Mac моделі запускають через MLX, бекенд Metal у llama.cpp або бекенд MPS у PyTorch.
- Що навколо. Відеокарті потрібен ПК навколо, а її власні 96 ГБ — це межа: модель, що не вміщується, доводиться частково запускати з набагато повільнішої системної пам’яті ПК або ділити з другою картою.
- Mac. Це ще й комп’ютер на щодень, і на ньому працюють MLX Harness та MLX Node, створені для Apple Silicon.
Швидкість із популярними моделями
Токенів за секунду для однієї розмови, кожен чип із максимальною пам’яттю (512 ГБ і 96 ГБ), з найкращою версією моделі, що вміщується.
| Модель | M5 Ultra | RTX PRO 6000 |
|---|---|---|
| Llama 3.1 8B Instruct8B | 64–113 8 біт | 95–169 8 біт |
| gpt-oss-20b21B · активних: 3,6B | 284–505 нативні 4,25 біт | 424–755 нативні 4,25 біт |
| Qwen3.6 35B A3B35B · активних: 3B | 169–300 8 біт | 252–448 8 біт |
| Qwen3.8 27B27B | 19–33 8 біт | 28–50 8 біт |
| Llama 3.3 70B Instruct70B | 14–24 4 біт | 11–19 8 біт |
| gpt-oss-120b117B · активних: 5,1B | 200–356 нативні 4,25 біт | 299–531 нативні 4,25 біт |
| Qwen3.5 122B A10B122B · активних: 10B | 51–91 8 біт | 144–256 4 біт |
| DeepSeek V4 Flash 0731284B · активних: 13B | 39–70 8 біт | завелика |
Запитання
- Чи RTX PRO 6000 швидший за M5 Ultra для LLM?
- RTX PRO 6000 читає пам’ять приблизно на 49% швидше, ніж M5 Ultra (1 792 проти 1 200 ГБ/с), тож з будь-якою моделлю, що вміщується в обидва, генерує приблизно на 49% швидше. У вимірі llama.cpp RTX PRO 6000 читає промпт приблизно в 3 раза швидше (14 855 проти 4 945 токенів за секунду). Читання промпту залежить від обчислювальної потужності GPU, а не від пропускної здатності пам’яті, і саме воно визначає очікування до першого слова з довгим документом чи кодовою базою.
- Який запускає більші моделі: M5 Ultra чи RTX PRO 6000?
- У M5 Ultra близько 384 ГБ для моделей, у RTX PRO 6000 — близько 95 ГБ. 61 із 73 популярних відкритих моделей добре працюють на M5 Ultra, 50 — на RTX PRO 6000.
- Чи працює MLX Node на RTX PRO 6000?
- Ні. MLX Node і MLX Harness працюють лише на Mac з Apple Silicon, на фреймворку MLX від Apple.
Інші порівняння
M5 Ultra для локального ШІ · Порівняти всі моделі · Найкращий Mac для локальних LLM
Як це розраховано
Пам’ять: параметри моделі за 8, 6, 4, 3 або 2 біт на вагу плюс групові масштаби MLX (пів біта на вагу) або її нативний формат, а зверху — місце для контексту. За замовчуванням macOS дає GPU близько 75% об’єднаної пам’яті. Швидкість: пропускна здатність пам’яті, поділена на кількість байтів, що читаються на кожен токен, — це стеля для однієї розмови; у публічних тестах llama.cpp на Apple Silicon реальні запуски досягають приблизно 45–80% від неї, і показано саме цей діапазон. Це оцінки, а не вимірювання: виміряйте свій Mac у MLX Bench. Дані моделей — з офіційних карток моделей, дані чипів — з технічних характеристик Apple. Перевірено 2026-10-19. Ті самі дані, що й на mlx.app/compare.
Дані RTX PRO 6000: NVIDIA: RTX PRO 6000 Blackwell Workstation Edition, NVIDIA: RTX PRO Desktop GPUs (compare table).