Чи DGX Spark швидший за M5 Ultra для LLM?

M5 Ultra читає пам’ять приблизно на 340% швидше, ніж DGX Spark (1 200 проти 273 ГБ/с), тож з будь-якою моделлю, що вміщується в обидва, генерує приблизно на 340% швидше. У вимірі llama.cpp M5 Ultra читає промпт приблизно в 1,6 раза швидше (4 945 проти 3 062 токенів за секунду). Читання промпту залежить від обчислювальної потужності GPU, а не від пропускної здатності пам’яті, і саме воно визначає очікування до першого слова з довгим документом чи кодовою базою.

Який запускає більші моделі: M5 Ultra чи DGX Spark?

У M5 Ultra близько 384 ГБ для моделей, у DGX Spark — близько 96 ГБ. 61 із 73 популярних відкритих моделей добре працюють на M5 Ultra, 39 — на DGX Spark.

Чи працює MLX Node на DGX Spark?

Ні. MLX Node і MLX Harness працюють лише на Mac з Apple Silicon, на фреймворку MLX від Apple.

M5 Ultra чи DGX Spark для LLM: пам’ять, швидкість, що купити

Пліч-о-пліч

	M5 Ultra	DGX Spark
Що це	Mac Studio (M5 Max or M5 Ultra)	Готовий невеликий комп’ютер
Обсяги пам’яті	96, 256, 512 ГБ	128 ГБ
Пропускна здатність пам’яті	1 200 ГБ/с	273 ГБ/с
Для моделей, щонайбільше	близько 384 ГБ	близько 96 ГБ
Моделі, що працюють добре	61 з 73	39 з 73
Виміряно: генерація	179 tok/s	57 tok/s
Виміряно: читання промпту	4 945 tok/s	3 062 tok/s

Рядки з вимірами: найкращий результат кожної машини у відкритих бенчмарках llama.cpp з Llama 2 7B Q4_0 — генерація 128 токенів (tg128) і читання промпту з 512 токенів (pp512), у токенах за секунду. Mac працював через Metal, DGX Spark — через CUDA. Результати Apple Silicon · Результати DGX Spark Для моделей ми рахуємо близько 75% пам’яті в обох — типове значення macOS, — бо DGX Spark теж ділить одну пам’ять між CPU і GPU. Скільки його GPU може використати насправді, залежить від операційної системи та налаштувань.

Де хто виграє

Швидкість генерації. M5 Ultra читає пам’ять приблизно на 340% швидше, ніж DGX Spark (1 200 проти 273 ГБ/с), тож з будь-якою моделлю, що вміщується в обидва, генерує приблизно на 340% швидше.
Розмір моделей. У M5 Ultra близько 384 ГБ для моделей, у DGX Spark — близько 96 ГБ. 61 із 73 популярних відкритих моделей добре працюють на M5 Ultra, 39 — на DGX Spark.
Читання довгих промптів. У вимірі llama.cpp M5 Ultra читає промпт приблизно в 1,6 раза швидше (4 945 проти 3 062 токенів за секунду). Читання промпту залежить від обчислювальної потужності GPU, а не від пропускної здатності пам’яті, і саме воно визначає очікування до першого слова з довгим документом чи кодовою базою.
Програми. DGX Spark працює з CUDA від NVIDIA, яку більшість ШІ-програм підтримує насамперед, зокрема код для навчання та багато інструментів для зображень і відео. На Mac моделі запускають через MLX, бекенд Metal у llama.cpp або бекенд MPS у PyTorch.
Що навколо. Обидва — готові комп’ютери, що тримають модель в одній пам’яті, спільній для CPU і GPU.
Mac. Це ще й комп’ютер на щодень, і на ньому працюють MLX Harness та MLX Node, створені для Apple Silicon.

Швидкість із популярними моделями

Токенів за секунду для однієї розмови, кожен чип із максимальною пам’яттю (512 ГБ і 128 ГБ), з найкращою версією моделі, що вміщується.

Модель	M5 Ultra	DGX Spark
Llama 3.1 8B Instruct8B	64–113 8 біт	14–26 8 біт
gpt-oss-20b21B · активних: 3,6B	284–505 нативні 4,25 біт	65–115 нативні 4,25 біт
Qwen3.6 35B A3B35B · активних: 3B	169–300 8 біт	38–68 8 біт
Qwen3.8 27B27B	19–33 8 біт	4–8 8 біт
Llama 3.3 70B Instruct70B	14–24 4 біт	2–3 8 біт
gpt-oss-120b117B · активних: 5,1B	200–356 нативні 4,25 біт	45–81 нативні 4,25 біт
Qwen3.5 122B A10B122B · активних: 10B	51–91 8 біт	22–39 4 біт
DeepSeek V4 Flash 0731284B · активних: 13B	39–70 8 біт	30–53 2 біт нижча якість

Запитання

Чи DGX Spark швидший за M5 Ultra для LLM?: M5 Ultra читає пам’ять приблизно на 340% швидше, ніж DGX Spark (1 200 проти 273 ГБ/с), тож з будь-якою моделлю, що вміщується в обидва, генерує приблизно на 340% швидше. У вимірі llama.cpp M5 Ultra читає промпт приблизно в 1,6 раза швидше (4 945 проти 3 062 токенів за секунду). Читання промпту залежить від обчислювальної потужності GPU, а не від пропускної здатності пам’яті, і саме воно визначає очікування до першого слова з довгим документом чи кодовою базою.
Який запускає більші моделі: M5 Ultra чи DGX Spark?: У M5 Ultra близько 384 ГБ для моделей, у DGX Spark — близько 96 ГБ. 61 із 73 популярних відкритих моделей добре працюють на M5 Ultra, 39 — на DGX Spark.
Чи працює MLX Node на DGX Spark?: Ні. MLX Node і MLX Harness працюють лише на Mac з Apple Silicon, на фреймворку MLX від Apple.

Інші порівняння

M5 Ultra для локального ШІ · Порівняти всі моделі · Найкращий Mac для локальних LLM

Як це розраховано

Пам’ять: параметри моделі за 8, 6, 4, 3 або 2 біт на вагу плюс групові масштаби MLX (пів біта на вагу) або її нативний формат, а зверху — місце для контексту. За замовчуванням macOS дає GPU близько 75% об’єднаної пам’яті. Швидкість: пропускна здатність пам’яті, поділена на кількість байтів, що читаються на кожен токен, — це стеля для однієї розмови; у публічних тестах llama.cpp на Apple Silicon реальні запуски досягають приблизно 45–80% від неї, і показано саме цей діапазон. Це оцінки, а не вимірювання: виміряйте свій Mac у MLX Bench. Дані моделей — з офіційних карток моделей, дані чипів — з технічних характеристик Apple. Перевірено 2026-10-19. Ті самі дані, що й на mlx.app/compare.

Дані DGX Spark: NVIDIA: DGX Spark (specs).