Бок о бок
Скорость с популярными моделями
Токенов в секунду для одного диалога, каждый чип с максимальной памятью (512 ГБ и 512 ГБ), с лучшей версией модели, которая помещается.
| Модель | M3 Ultra | M5 Ultra |
|---|---|---|
| Llama 3.1 8B Instruct8B | 43–77 8 бит | 64–113 8 бит |
| gpt-oss-20b21B · активных: 3,6B | 194–345 нативные 4,25 бит | 284–505 нативные 4,25 бит |
| Qwen3.6 35B A3B35B · активных: 3B | 115–205 8 бит | 169–300 8 бит |
| Qwen3.8 27B27B | 13–23 8 бит | 19–33 8 бит |
| Llama 3.3 70B Instruct70B | 5–9 8 бит | 14–24 4 бит |
| gpt-oss-120b117B · активных: 5,1B | 137–243 нативные 4,25 бит | 200–356 нативные 4,25 бит |
| Qwen3.5 122B A10B122B · активных: 10B | 35–62 8 бит | 51–91 8 бит |
| DeepSeek V4 Flash 0731284B · активных: 13B | 27–47 8 бит | 39–70 8 бит |
Вопросы
- M5 Ultra быстрее, чем M3 Ultra, для LLM?
- M5 Ultra читает память примерно на 47% быстрее, чем M3 Ultra (1 200 против 819 ГБ/с), поэтому с любой моделью, которая помещается в оба, генерирует примерно на 47% быстрее. Обработка длинного запроса зависит от вычислительной мощности GPU, а ее это сравнение не учитывает.
- Какой запускает модели крупнее: M3 Ultra или M5 Ultra?
- Ни один: оба поддерживают до 512 ГБ. При таком объеме M3 Ultra хорошо запускает 60, а M5 Ultra — 61 из 73 открытых моделей; более быстрый чип выводит больше из них за порог в 10 токенов в секунду.
Другие сравнения
- M2 Ultra vs M3 Ultra
- M3 Max vs M3 Ultra
- M3 Ultra vs M4 Max
- M3 Ultra vs M5 Max
- M4 Max vs M5 Ultra
- M5 Max vs M5 Ultra
M3 Ultra для локального ИИ · M5 Ultra для локального ИИ · Сравнить все модели · Лучший Mac для локальных LLM
Как это рассчитано
Память: параметры модели при 8, 6, 4, 3 или 2 битах на вес плюс групповые масштабы MLX (полбита на вес) или ее нативный формат, а сверху — место для контекста. По умолчанию macOS отдает GPU около 75% объединенной памяти. Скорость: пропускная способность памяти, деленная на число байтов, читаемых на каждый токен, — это потолок для одного диалога; в публичных тестах llama.cpp на Apple Silicon реальные запуски достигают примерно 45–80% от него, и показан именно этот диапазон. Это оценки, а не измерения: измерьте свой Mac в MLX Bench. Данные моделей — из официальных карточек моделей, данные чипов — из технических характеристик Apple. Проверено 2026-10-19. Те же данные, что и на mlx.app/compare.