DGX Spark быстрее, чем M5 Ultra, для LLM?

M5 Ultra читает память примерно на 340% быстрее, чем DGX Spark (1 200 против 273 ГБ/с), поэтому с любой моделью, которая помещается в оба, генерирует примерно на 340% быстрее. В замере llama.cpp M5 Ultra читает промпт примерно в 1,6 раза быстрее (4 945 против 3 062 токенов в секунду). Чтение промпта зависит от вычислительной мощности GPU, а не от пропускной способности памяти, и именно оно задаёт ожидание до первого слова с длинным документом или кодовой базой.

Какой запускает модели крупнее: M5 Ultra или DGX Spark?

У M5 Ultra около 384 ГБ для моделей, у DGX Spark — около 96 ГБ. 61 из 73 популярных открытых моделей хорошо работают на M5 Ultra, 39 — на DGX Spark.

Работает ли MLX Node на DGX Spark?

Нет. MLX Node и MLX Harness работают только на Mac с Apple Silicon, на фреймворке MLX от Apple.

M5 Ultra или DGX Spark для LLM: память, скорость, что купить

Бок о бок

	M5 Ultra	DGX Spark
Что это	Mac Studio (M5 Max or M5 Ultra)	Готовый небольшой компьютер
Объемы памяти	96, 256, 512 ГБ	128 ГБ
Пропускная способность памяти	1 200 ГБ/с	273 ГБ/с
Для моделей, максимум	около 384 ГБ	около 96 ГБ
Хорошо работающие модели	61 из 73	39 из 73
Измерено: генерация	179 tok/s	57 tok/s
Измерено: чтение промпта	4 945 tok/s	3 062 tok/s

Строки с замерами: лучший результат каждой машины в открытых бенчмарках llama.cpp с Llama 2 7B Q4_0 — генерация 128 токенов (tg128) и чтение промпта из 512 токенов (pp512), в токенах в секунду. Mac работал через Metal, DGX Spark — через CUDA. Результаты Apple Silicon · Результаты DGX Spark Для моделей мы считаем около 75% памяти у обоих — значение macOS по умолчанию, — потому что DGX Spark тоже делит одну память между CPU и GPU. Сколько его GPU может использовать на деле, зависит от операционной системы и настроек.

Где кто выигрывает

Скорость генерации. M5 Ultra читает память примерно на 340% быстрее, чем DGX Spark (1 200 против 273 ГБ/с), поэтому с любой моделью, которая помещается в оба, генерирует примерно на 340% быстрее.
Размер моделей. У M5 Ultra около 384 ГБ для моделей, у DGX Spark — около 96 ГБ. 61 из 73 популярных открытых моделей хорошо работают на M5 Ultra, 39 — на DGX Spark.
Чтение длинных промптов. В замере llama.cpp M5 Ultra читает промпт примерно в 1,6 раза быстрее (4 945 против 3 062 токенов в секунду). Чтение промпта зависит от вычислительной мощности GPU, а не от пропускной способности памяти, и именно оно задаёт ожидание до первого слова с длинным документом или кодовой базой.
Программы. DGX Spark работает с CUDA от NVIDIA, которую большинство ИИ-программ поддерживает в первую очередь, включая код для обучения и многие инструменты для изображений и видео. На Mac модели запускают через MLX, бэкенд Metal в llama.cpp или бэкенд MPS в PyTorch.
Что вокруг. Оба — готовые компьютеры, которые держат модель в одной памяти, общей для CPU и GPU.
Mac. Это ещё и компьютер на каждый день, и на нём работают MLX Harness и MLX Node, созданные для Apple Silicon.

Скорость с популярными моделями

Токенов в секунду для одного диалога, каждый чип с максимальной памятью (512 ГБ и 128 ГБ), с лучшей версией модели, которая помещается.

Модель	M5 Ultra	DGX Spark
Llama 3.1 8B Instruct8B	64–113 8 бит	14–26 8 бит
gpt-oss-20b21B · активных: 3,6B	284–505 нативные 4,25 бит	65–115 нативные 4,25 бит
Qwen3.6 35B A3B35B · активных: 3B	169–300 8 бит	38–68 8 бит
Qwen3.8 27B27B	19–33 8 бит	4–8 8 бит
Llama 3.3 70B Instruct70B	14–24 4 бит	2–3 8 бит
gpt-oss-120b117B · активных: 5,1B	200–356 нативные 4,25 бит	45–81 нативные 4,25 бит
Qwen3.5 122B A10B122B · активных: 10B	51–91 8 бит	22–39 4 бит
DeepSeek V4 Flash 0731284B · активных: 13B	39–70 8 бит	30–53 2 бит ниже качество

Вопросы

DGX Spark быстрее, чем M5 Ultra, для LLM?: M5 Ultra читает память примерно на 340% быстрее, чем DGX Spark (1 200 против 273 ГБ/с), поэтому с любой моделью, которая помещается в оба, генерирует примерно на 340% быстрее. В замере llama.cpp M5 Ultra читает промпт примерно в 1,6 раза быстрее (4 945 против 3 062 токенов в секунду). Чтение промпта зависит от вычислительной мощности GPU, а не от пропускной способности памяти, и именно оно задаёт ожидание до первого слова с длинным документом или кодовой базой.
Какой запускает модели крупнее: M5 Ultra или DGX Spark?: У M5 Ultra около 384 ГБ для моделей, у DGX Spark — около 96 ГБ. 61 из 73 популярных открытых моделей хорошо работают на M5 Ultra, 39 — на DGX Spark.
Работает ли MLX Node на DGX Spark?: Нет. MLX Node и MLX Harness работают только на Mac с Apple Silicon, на фреймворке MLX от Apple.

Другие сравнения

M5 Ultra для локального ИИ · Сравнить все модели · Лучший Mac для локальных LLM

Как это рассчитано

Память: параметры модели при 8, 6, 4, 3 или 2 битах на вес плюс групповые масштабы MLX (полбита на вес) или ее нативный формат, а сверху — место для контекста. По умолчанию macOS отдает GPU около 75% объединенной памяти. Скорость: пропускная способность памяти, деленная на число байтов, читаемых на каждый токен, — это потолок для одного диалога; в публичных тестах llama.cpp на Apple Silicon реальные запуски достигают примерно 45–80% от него, и показан именно этот диапазон. Это оценки, а не измерения: измерьте свой Mac в MLX Bench. Данные моделей — из официальных карточек моделей, данные чипов — из технических характеристик Apple. Проверено 2026-10-19. Те же данные, что и на mlx.app/compare.

Данные DGX Spark: NVIDIA: DGX Spark (specs).