Adakah DGX Spark lebih pantas daripada M5 Ultra untuk LLM?

M5 Ultra membaca memori kira-kira 340% lebih pantas daripada DGX Spark (1,200 vs 273 GB/s), jadi ia menulis kira-kira 340% lebih pantas dengan mana-mana model yang muat dalam kedua-duanya. Dalam ujian diukur llama.cpp, M5 Ultra membaca prompt kira-kira 1.6× lebih pantas (4,945 lawan 3,062 token sesaat). Membaca prompt bergantung pada kuasa pengiraan GPU, bukan lebar jalur memori, dan inilah yang menentukan berapa lama menunggu perkataan pertama bagi dokumen panjang atau pangkalan kod.

Yang mana boleh menjalankan model lebih besar, M5 Ultra atau DGX Spark?

M5 Ultra ada kira-kira 384 GB untuk model, DGX Spark kira-kira 96 GB. 61 daripada 73 model terbuka popular berjalan lancar pada M5 Ultra, 39 pada DGX Spark.

Adakah MLX Node berjalan pada DGX Spark?

Tidak. MLX Node dan MLX Harness hanya berjalan pada Mac dengan Apple Silicon, menggunakan rangka kerja MLX daripada Apple.

M5 Ultra vs DGX Spark untuk LLM: memori, kelajuan, pilih mana

Bersebelahan

	M5 Ultra	DGX Spark
Apakah ia	Mac Studio (M5 Max or M5 Ultra)	Komputer kecil yang lengkap
Saiz memori	96, 256, 512 GB	128 GB
Lebar jalur memori	1,200 GB/s	273 GB/s
Untuk model, paling banyak	kira-kira 384 GB	kira-kira 96 GB
Model yang berjalan baik	61 daripada 73	39 daripada 73
Diukur: menulis	179 tok/s	57 tok/s
Diukur: membaca prompt	4,945 tok/s	3,062 tok/s

Baris diukur: keputusan terpantas setiap mesin dalam penanda aras awam llama.cpp dengan Llama 2 7B Q4_0, semasa menulis 128 token (tg128) dan membaca prompt 512 token (pp512), dalam token sesaat. Mac menggunakan Metal, DGX Spark menggunakan CUDA. Keputusan Apple Silicon · Keputusan DGX Spark Untuk model, kami mengira kira-kira 75% memori pada kedua-duanya, lalai macOS, kerana DGX Spark juga berkongsi satu memori antara CPU dan GPU. Berapa banyak yang benar-benar boleh digunakan GPUnya bergantung pada sistem pengendalian dan tetapannya.

Di mana setiap satu menang

Kelajuan menulis. M5 Ultra membaca memori kira-kira 340% lebih pantas daripada DGX Spark (1,200 vs 273 GB/s), jadi ia menulis kira-kira 340% lebih pantas dengan mana-mana model yang muat dalam kedua-duanya.
Saiz model. M5 Ultra ada kira-kira 384 GB untuk model, DGX Spark kira-kira 96 GB. 61 daripada 73 model terbuka popular berjalan lancar pada M5 Ultra, 39 pada DGX Spark.
Membaca prompt panjang. Dalam ujian diukur llama.cpp, M5 Ultra membaca prompt kira-kira 1.6× lebih pantas (4,945 lawan 3,062 token sesaat). Membaca prompt bergantung pada kuasa pengiraan GPU, bukan lebar jalur memori, dan inilah yang menentukan berapa lama menunggu perkataan pertama bagi dokumen panjang atau pangkalan kod.
Perisian. DGX Spark menggunakan CUDA daripada NVIDIA, yang disokong dahulu oleh kebanyakan perisian AI, termasuk kod latihan dan banyak alat imej dan video. Pada Mac, model dijalankan dengan MLX, backend Metal llama.cpp atau backend MPS PyTorch.
Di sekelilingnya. Kedua-duanya komputer lengkap yang menyimpan model dalam satu memori yang dikongsi CPU dan GPU.
Mac. Ia juga komputer harian, dan menjalankan MLX Harness serta MLX Node, yang dibuat untuk Apple Silicon.

Kelajuan dengan model popular

Token sesaat untuk satu perbualan, setiap cip pada saiz memori terbesarnya (512 GB dan 128 GB), dengan versi terbaik model yang muat.

Model	M5 Ultra	DGX Spark
Llama 3.1 8B Instruct8B	64–113 8-bit	14–26 8-bit
gpt-oss-20b21B · 3.6B aktif	284–505 4.25-bit asli	65–115 4.25-bit asli
Qwen3.6 35B A3B35B · 3B aktif	169–300 8-bit	38–68 8-bit
Qwen3.8 27B27B	19–33 8-bit	4–8 8-bit
Llama 3.3 70B Instruct70B	14–24 4-bit	2–3 8-bit
gpt-oss-120b117B · 5.1B aktif	200–356 4.25-bit asli	45–81 4.25-bit asli
Qwen3.5 122B A10B122B · 10B aktif	51–91 8-bit	22–39 4-bit
DeepSeek V4 Flash 0731284B · 13B aktif	39–70 8-bit	30–53 2-bit kualiti lebih rendah

Soalan

Adakah DGX Spark lebih pantas daripada M5 Ultra untuk LLM?: M5 Ultra membaca memori kira-kira 340% lebih pantas daripada DGX Spark (1,200 vs 273 GB/s), jadi ia menulis kira-kira 340% lebih pantas dengan mana-mana model yang muat dalam kedua-duanya. Dalam ujian diukur llama.cpp, M5 Ultra membaca prompt kira-kira 1.6× lebih pantas (4,945 lawan 3,062 token sesaat). Membaca prompt bergantung pada kuasa pengiraan GPU, bukan lebar jalur memori, dan inilah yang menentukan berapa lama menunggu perkataan pertama bagi dokumen panjang atau pangkalan kod.
Yang mana boleh menjalankan model lebih besar, M5 Ultra atau DGX Spark?: M5 Ultra ada kira-kira 384 GB untuk model, DGX Spark kira-kira 96 GB. 61 daripada 73 model terbuka popular berjalan lancar pada M5 Ultra, 39 pada DGX Spark.
Adakah MLX Node berjalan pada DGX Spark?: Tidak. MLX Node dan MLX Harness hanya berjalan pada Mac dengan Apple Silicon, menggunakan rangka kerja MLX daripada Apple.

Lebih banyak perbandingan

M5 Ultra untuk AI tempatan · Bandingkan semua model · Mac terbaik untuk LLM tempatan

Cara ia dikira

Memori: parameter model pada 8, 6, 4, 3 atau 2 bit setiap pemberat serta skala kumpulan MLX (setengah bit setiap pemberat), atau format aslinya, dengan ruang untuk konteks di atasnya. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% memori bersatu. Kelajuan: lebar jalur memori dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; dalam penanda aras Apple Silicon awam llama.cpp, larian sebenar mencapai kira-kira 45% hingga 80% daripadanya, dan julat itulah yang ditunjukkan. Ini anggaran, bukan ukuran: ukur Mac anda sendiri di MLX Bench. Angka model daripada kad model rasmi setiap model, angka cip daripada Spesifikasi Teknikal Apple. Disemak 2026-10-19. Data yang sama seperti mlx.app/compare.

Data DGX Spark: NVIDIA: DGX Spark (specs).