Бок о бок
| M5 Ultra | RTX PRO 6000 | |
|---|---|---|
| Что это | Mac Studio (M5 Max or M5 Ultra) | Видеокарта для настольного ПК |
| Объемы памяти | 96, 256, 512 ГБ | 96 ГБ |
| Пропускная способность памяти | 1 200 ГБ/с | 1 792 ГБ/с |
| Для моделей, максимум | около 384 ГБ | около 95 ГБ |
| Хорошо работающие модели | 61 из 73 | 50 из 73 |
| Измерено: генерация | 179 tok/s | 274 tok/s |
| Измерено: чтение промпта | 4 945 tok/s | 14 855 tok/s |
Строки с замерами: лучший результат каждой машины в открытых бенчмарках llama.cpp с Llama 2 7B Q4_0 — генерация 128 токенов (tg128) и чтение промпта из 512 токенов (pp512), в токенах в секунду. Mac работал через Metal, RTX PRO 6000 — через CUDA. Результаты Apple Silicon · Результаты RTX PRO 6000 Для моделей мы считаем собственные 96 ГБ у RTX PRO 6000 минус около 1 ГБ и около 75% общей памяти Mac — значение macOS по умолчанию.
Где кто выигрывает
- Скорость генерации. RTX PRO 6000 читает память примерно на 49% быстрее, чем M5 Ultra (1 792 против 1 200 ГБ/с), поэтому с любой моделью, которая помещается в оба, генерирует примерно на 49% быстрее.
- Размер моделей. У M5 Ultra около 384 ГБ для моделей, у RTX PRO 6000 — около 95 ГБ. 61 из 73 популярных открытых моделей хорошо работают на M5 Ultra, 50 — на RTX PRO 6000.
- Чтение длинных промптов. В замере llama.cpp RTX PRO 6000 читает промпт примерно в 3 раза быстрее (14 855 против 4 945 токенов в секунду). Чтение промпта зависит от вычислительной мощности GPU, а не от пропускной способности памяти, и именно оно задаёт ожидание до первого слова с длинным документом или кодовой базой.
- Программы. RTX PRO 6000 работает с CUDA от NVIDIA, которую большинство ИИ-программ поддерживает в первую очередь, включая код для обучения и многие инструменты для изображений и видео. На Mac модели запускают через MLX, бэкенд Metal в llama.cpp или бэкенд MPS в PyTorch.
- Что вокруг. Видеокарте нужен ПК вокруг, а её собственные 96 ГБ — это предел: модель, которая не помещается, приходится частично запускать из гораздо более медленной системной памяти ПК или делить со второй картой.
- Mac. Это ещё и компьютер на каждый день, и на нём работают MLX Harness и MLX Node, созданные для Apple Silicon.
Скорость с популярными моделями
Токенов в секунду для одного диалога, каждый чип с максимальной памятью (512 ГБ и 96 ГБ), с лучшей версией модели, которая помещается.
| Модель | M5 Ultra | RTX PRO 6000 |
|---|---|---|
| Llama 3.1 8B Instruct8B | 64–113 8 бит | 95–169 8 бит |
| gpt-oss-20b21B · активных: 3,6B | 284–505 нативные 4,25 бит | 424–755 нативные 4,25 бит |
| Qwen3.6 35B A3B35B · активных: 3B | 169–300 8 бит | 252–448 8 бит |
| Qwen3.8 27B27B | 19–33 8 бит | 28–50 8 бит |
| Llama 3.3 70B Instruct70B | 14–24 4 бит | 11–19 8 бит |
| gpt-oss-120b117B · активных: 5,1B | 200–356 нативные 4,25 бит | 299–531 нативные 4,25 бит |
| Qwen3.5 122B A10B122B · активных: 10B | 51–91 8 бит | 144–256 4 бит |
| DeepSeek V4 Flash 0731284B · активных: 13B | 39–70 8 бит | слишком большая |
Вопросы
- RTX PRO 6000 быстрее, чем M5 Ultra, для LLM?
- RTX PRO 6000 читает память примерно на 49% быстрее, чем M5 Ultra (1 792 против 1 200 ГБ/с), поэтому с любой моделью, которая помещается в оба, генерирует примерно на 49% быстрее. В замере llama.cpp RTX PRO 6000 читает промпт примерно в 3 раза быстрее (14 855 против 4 945 токенов в секунду). Чтение промпта зависит от вычислительной мощности GPU, а не от пропускной способности памяти, и именно оно задаёт ожидание до первого слова с длинным документом или кодовой базой.
- Какой запускает модели крупнее: M5 Ultra или RTX PRO 6000?
- У M5 Ultra около 384 ГБ для моделей, у RTX PRO 6000 — около 95 ГБ. 61 из 73 популярных открытых моделей хорошо работают на M5 Ultra, 50 — на RTX PRO 6000.
- Работает ли MLX Node на RTX PRO 6000?
- Нет. MLX Node и MLX Harness работают только на Mac с Apple Silicon, на фреймворке MLX от Apple.
Другие сравнения
M5 Ultra для локального ИИ · Сравнить все модели · Лучший Mac для локальных LLM
Как это рассчитано
Память: параметры модели при 8, 6, 4, 3 или 2 битах на вес плюс групповые масштабы MLX (полбита на вес) или ее нативный формат, а сверху — место для контекста. По умолчанию macOS отдает GPU около 75% объединенной памяти. Скорость: пропускная способность памяти, деленная на число байтов, читаемых на каждый токен, — это потолок для одного диалога; в публичных тестах llama.cpp на Apple Silicon реальные запуски достигают примерно 45–80% от него, и показан именно этот диапазон. Это оценки, а не измерения: измерьте свой Mac в MLX Bench. Данные моделей — из официальных карточек моделей, данные чипов — из технических характеристик Apple. Проверено 2026-10-19. Те же данные, что и на mlx.app/compare.
Данные RTX PRO 6000: NVIDIA: RTX PRO 6000 Blackwell Workstation Edition, NVIDIA: RTX PRO Desktop GPUs (compare table).