Mas mabilis ba ang DGX Spark kaysa sa M3 Ultra para sa LLM?

Mga 200% na mas mabilis magbasa ng memory ang M3 Ultra kaysa sa DGX Spark (819 vs 273 GB/s), kaya mga 200% na mas mabilis itong magsulat sa anumang model na kasya sa dalawa. Sa nasukat na test ng llama.cpp, nababasa ng DGX Spark ang isang prompt nang mga 2.1× na mas mabilis (3,062 laban sa 1,471 token bawat segundo). Nakasalalay ang pagbasa ng prompt sa compute ng GPU, hindi sa memory bandwidth, kaya ito ang nagtatakda ng hintay bago ang unang salita sa mahabang dokumento o codebase.

Alin ang kaya ang mas malalaking model, ang M3 Ultra o ang DGX Spark?

Ang M3 Ultra ay may mga 384 GB para sa mga model, ang DGX Spark ay mga 96 GB. 60 sa 73 sikat na open model ang tumatakbo nang maayos sa M3 Ultra, 39 sa DGX Spark.

Tumatakbo ba ang MLX Node sa DGX Spark?

Hindi. Tumatakbo lang ang MLX Node at MLX Harness sa mga Mac na may Apple Silicon, gamit ang MLX framework ng Apple.

M3 Ultra vs DGX Spark para sa LLM: memory, bilis, alin ang bilhin

Magkatabi

	M3 Ultra	DGX Spark
Ano ito	Mac Studio (2025)	Isang buong maliit na computer
Mga memory size	96, 256, 512 GB	128 GB
Memory bandwidth	819 GB/s	273 GB/s
Para sa model, hanggang	mga 384 GB	mga 96 GB
Mga model na maayos tumakbo	60 sa 73	39 sa 73
Nasukat: pagsulat	92 tok/s	57 tok/s
Nasukat: pagbasa ng prompt	1,471 tok/s	3,062 tok/s

Mga nasukat na hilera: ang pinakamabilis na resulta ng bawat makina sa mga pampublikong benchmark ng llama.cpp gamit ang Llama 2 7B Q4_0, sa pagsulat ng 128 token (tg128) at pagbasa ng prompt na 512 token (pp512), sa token bawat segundo. Metal ang gamit ng Mac, CUDA ang sa DGX Spark. Mga resulta ng Apple Silicon · Mga resulta ng DGX Spark Para sa mga model, mga 75% ng memory ang binibilang namin sa dalawa, ang default ng macOS, dahil ang DGX Spark ay may iisang memory din na pinaghahatian ng CPU at GPU. Kung gaano talaga karami ang magagamit ng GPU nito ay depende sa operating system at mga setting.

Saan nananalo ang bawat isa

Bilis ng pagsulat. Mga 200% na mas mabilis magbasa ng memory ang M3 Ultra kaysa sa DGX Spark (819 vs 273 GB/s), kaya mga 200% na mas mabilis itong magsulat sa anumang model na kasya sa dalawa.
Laki ng model. Ang M3 Ultra ay may mga 384 GB para sa mga model, ang DGX Spark ay mga 96 GB. 60 sa 73 sikat na open model ang tumatakbo nang maayos sa M3 Ultra, 39 sa DGX Spark.
Pagbasa ng mahahabang prompt. Sa nasukat na test ng llama.cpp, nababasa ng DGX Spark ang isang prompt nang mga 2.1× na mas mabilis (3,062 laban sa 1,471 token bawat segundo). Nakasalalay ang pagbasa ng prompt sa compute ng GPU, hindi sa memory bandwidth, kaya ito ang nagtatakda ng hintay bago ang unang salita sa mahabang dokumento o codebase.
Software. Gumagamit ang DGX Spark ng CUDA ng NVIDIA, na unang sinusuportahan ng karamihan ng AI software, kasama ang training code at maraming tool para sa larawan at video. Sa Mac, pinapatakbo ang mga model gamit ang MLX, ang Metal backend ng llama.cpp o ang MPS backend ng PyTorch.
Sa paligid nito. Pareho silang buong computer na nag-iimbak ng model sa iisang memory na pinaghahatian ng CPU at GPU.
Ang Mac. Pang-araw-araw na computer din ito, at pinapatakbo nito ang MLX Harness at MLX Node, na ginawa para sa Apple Silicon.

Bilis sa mga sikat na model

Token bawat segundo para sa isang usapan, bawat chip sa pinakamalaking memory size nito (512 GB at 128 GB), gamit ang pinakamagandang bersyon ng model na kasya.

Model	M3 Ultra	DGX Spark
Llama 3.1 8B Instruct8B	43–77 8-bit	14–26 8-bit
gpt-oss-20b21B · 3.6B aktibo	194–345 native na 4.25-bit	65–115 native na 4.25-bit
Qwen3.6 35B A3B35B · 3B aktibo	115–205 8-bit	38–68 8-bit
Qwen3.8 27B27B	13–23 8-bit	4–8 8-bit
Llama 3.3 70B Instruct70B	5–9 8-bit	2–3 8-bit
gpt-oss-120b117B · 5.1B aktibo	137–243 native na 4.25-bit	45–81 native na 4.25-bit
Qwen3.5 122B A10B122B · 10B aktibo	35–62 8-bit	22–39 4-bit
DeepSeek V4 Flash 0731284B · 13B aktibo	27–47 8-bit	30–53 2-bit mas mababang kalidad

Mga tanong

Mas mabilis ba ang DGX Spark kaysa sa M3 Ultra para sa LLM?: Mga 200% na mas mabilis magbasa ng memory ang M3 Ultra kaysa sa DGX Spark (819 vs 273 GB/s), kaya mga 200% na mas mabilis itong magsulat sa anumang model na kasya sa dalawa. Sa nasukat na test ng llama.cpp, nababasa ng DGX Spark ang isang prompt nang mga 2.1× na mas mabilis (3,062 laban sa 1,471 token bawat segundo). Nakasalalay ang pagbasa ng prompt sa compute ng GPU, hindi sa memory bandwidth, kaya ito ang nagtatakda ng hintay bago ang unang salita sa mahabang dokumento o codebase.
Alin ang kaya ang mas malalaking model, ang M3 Ultra o ang DGX Spark?: Ang M3 Ultra ay may mga 384 GB para sa mga model, ang DGX Spark ay mga 96 GB. 60 sa 73 sikat na open model ang tumatakbo nang maayos sa M3 Ultra, 39 sa DGX Spark.
Tumatakbo ba ang MLX Node sa DGX Spark?: Hindi. Tumatakbo lang ang MLX Node at MLX Harness sa mga Mac na may Apple Silicon, gamit ang MLX framework ng Apple.

Iba pang paghahambing

Ang M3 Ultra para sa local AI · Ihambing ang bawat model · Ang pinakamagandang Mac para sa local LLM

Paano ito kinuwenta

Memory: ang mga parameter ng model sa 8, 6, 4, 3 o 2 bit kada weight dagdag ang group scales ng MLX (kalahating bit kada weight), o ang native format nito, at may espasyo pa para sa context. Bilang default, mga 75% ng unified memory ang ipinapagamit ng macOS sa GPU. Bilis: ang memory bandwidth na hinati sa mga byte na binabasa kada token ang pinakamataas na posible para sa isang usapan; sa mga pampublikong benchmark ng llama.cpp sa Apple Silicon, umaabot ang totoong takbo sa mga 45% hanggang 80% nito, at iyon ang range na ipinapakita. Mga tantiya ito, hindi sukat: sukatin ang sarili mong Mac sa MLX Bench. Ang mga numero ng model ay mula sa opisyal na model card ng bawat isa, at ang sa chip ay mula sa Tech Specs ng Apple. Sinuri noong 2026-10-19. Parehong data ng mlx.app/compare.

Datos ng DGX Spark: NVIDIA: DGX Spark (specs).