Adakah DGX Spark lebih pantas daripada M3 Ultra untuk LLM?

M3 Ultra membaca memori kira-kira 200% lebih pantas daripada DGX Spark (819 vs 273 GB/s), jadi ia menulis kira-kira 200% lebih pantas dengan mana-mana model yang muat dalam kedua-duanya. Dalam ujian diukur llama.cpp, DGX Spark membaca prompt kira-kira 2.1× lebih pantas (3,062 lawan 1,471 token sesaat). Membaca prompt bergantung pada kuasa pengiraan GPU, bukan lebar jalur memori, dan inilah yang menentukan berapa lama menunggu perkataan pertama bagi dokumen panjang atau pangkalan kod.

Yang mana boleh menjalankan model lebih besar, M3 Ultra atau DGX Spark?

M3 Ultra ada kira-kira 384 GB untuk model, DGX Spark kira-kira 96 GB. 60 daripada 73 model terbuka popular berjalan lancar pada M3 Ultra, 39 pada DGX Spark.

Adakah MLX Node berjalan pada DGX Spark?

Tidak. MLX Node dan MLX Harness hanya berjalan pada Mac dengan Apple Silicon, menggunakan rangka kerja MLX daripada Apple.

M3 Ultra vs DGX Spark untuk LLM: memori, kelajuan, pilih mana

Bersebelahan

	M3 Ultra	DGX Spark
Apakah ia	Mac Studio (2025)	Komputer kecil yang lengkap
Saiz memori	96, 256, 512 GB	128 GB
Lebar jalur memori	819 GB/s	273 GB/s
Untuk model, paling banyak	kira-kira 384 GB	kira-kira 96 GB
Model yang berjalan baik	60 daripada 73	39 daripada 73
Diukur: menulis	92 tok/s	57 tok/s
Diukur: membaca prompt	1,471 tok/s	3,062 tok/s

Baris diukur: keputusan terpantas setiap mesin dalam penanda aras awam llama.cpp dengan Llama 2 7B Q4_0, semasa menulis 128 token (tg128) dan membaca prompt 512 token (pp512), dalam token sesaat. Mac menggunakan Metal, DGX Spark menggunakan CUDA. Keputusan Apple Silicon · Keputusan DGX Spark Untuk model, kami mengira kira-kira 75% memori pada kedua-duanya, lalai macOS, kerana DGX Spark juga berkongsi satu memori antara CPU dan GPU. Berapa banyak yang benar-benar boleh digunakan GPUnya bergantung pada sistem pengendalian dan tetapannya.

Di mana setiap satu menang

Kelajuan menulis. M3 Ultra membaca memori kira-kira 200% lebih pantas daripada DGX Spark (819 vs 273 GB/s), jadi ia menulis kira-kira 200% lebih pantas dengan mana-mana model yang muat dalam kedua-duanya.
Saiz model. M3 Ultra ada kira-kira 384 GB untuk model, DGX Spark kira-kira 96 GB. 60 daripada 73 model terbuka popular berjalan lancar pada M3 Ultra, 39 pada DGX Spark.
Membaca prompt panjang. Dalam ujian diukur llama.cpp, DGX Spark membaca prompt kira-kira 2.1× lebih pantas (3,062 lawan 1,471 token sesaat). Membaca prompt bergantung pada kuasa pengiraan GPU, bukan lebar jalur memori, dan inilah yang menentukan berapa lama menunggu perkataan pertama bagi dokumen panjang atau pangkalan kod.
Perisian. DGX Spark menggunakan CUDA daripada NVIDIA, yang disokong dahulu oleh kebanyakan perisian AI, termasuk kod latihan dan banyak alat imej dan video. Pada Mac, model dijalankan dengan MLX, backend Metal llama.cpp atau backend MPS PyTorch.
Di sekelilingnya. Kedua-duanya komputer lengkap yang menyimpan model dalam satu memori yang dikongsi CPU dan GPU.
Mac. Ia juga komputer harian, dan menjalankan MLX Harness serta MLX Node, yang dibuat untuk Apple Silicon.

Kelajuan dengan model popular

Token sesaat untuk satu perbualan, setiap cip pada saiz memori terbesarnya (512 GB dan 128 GB), dengan versi terbaik model yang muat.

Model	M3 Ultra	DGX Spark
Llama 3.1 8B Instruct8B	43–77 8-bit	14–26 8-bit
gpt-oss-20b21B · 3.6B aktif	194–345 4.25-bit asli	65–115 4.25-bit asli
Qwen3.6 35B A3B35B · 3B aktif	115–205 8-bit	38–68 8-bit
Qwen3.8 27B27B	13–23 8-bit	4–8 8-bit
Llama 3.3 70B Instruct70B	5–9 8-bit	2–3 8-bit
gpt-oss-120b117B · 5.1B aktif	137–243 4.25-bit asli	45–81 4.25-bit asli
Qwen3.5 122B A10B122B · 10B aktif	35–62 8-bit	22–39 4-bit
DeepSeek V4 Flash 0731284B · 13B aktif	27–47 8-bit	30–53 2-bit kualiti lebih rendah

Soalan

Adakah DGX Spark lebih pantas daripada M3 Ultra untuk LLM?: M3 Ultra membaca memori kira-kira 200% lebih pantas daripada DGX Spark (819 vs 273 GB/s), jadi ia menulis kira-kira 200% lebih pantas dengan mana-mana model yang muat dalam kedua-duanya. Dalam ujian diukur llama.cpp, DGX Spark membaca prompt kira-kira 2.1× lebih pantas (3,062 lawan 1,471 token sesaat). Membaca prompt bergantung pada kuasa pengiraan GPU, bukan lebar jalur memori, dan inilah yang menentukan berapa lama menunggu perkataan pertama bagi dokumen panjang atau pangkalan kod.
Yang mana boleh menjalankan model lebih besar, M3 Ultra atau DGX Spark?: M3 Ultra ada kira-kira 384 GB untuk model, DGX Spark kira-kira 96 GB. 60 daripada 73 model terbuka popular berjalan lancar pada M3 Ultra, 39 pada DGX Spark.
Adakah MLX Node berjalan pada DGX Spark?: Tidak. MLX Node dan MLX Harness hanya berjalan pada Mac dengan Apple Silicon, menggunakan rangka kerja MLX daripada Apple.

Lebih banyak perbandingan

M3 Ultra untuk AI tempatan · Bandingkan semua model · Mac terbaik untuk LLM tempatan

Cara ia dikira

Memori: parameter model pada 8, 6, 4, 3 atau 2 bit setiap pemberat serta skala kumpulan MLX (setengah bit setiap pemberat), atau format aslinya, dengan ruang untuk konteks di atasnya. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% memori bersatu. Kelajuan: lebar jalur memori dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; dalam penanda aras Apple Silicon awam llama.cpp, larian sebenar mencapai kira-kira 45% hingga 80% daripadanya, dan julat itulah yang ditunjukkan. Ini anggaran, bukan ukuran: ukur Mac anda sendiri di MLX Bench. Angka model daripada kad model rasmi setiap model, angka cip daripada Spesifikasi Teknikal Apple. Disemak 2026-10-19. Data yang sama seperti mlx.app/compare.

Data DGX Spark: NVIDIA: DGX Spark (specs).