साथ-साथ तुलना
| M3 Ultra | DGX Spark | |
|---|---|---|
| यह क्या है | Mac Studio (2025) | एक पूरा छोटा कंप्यूटर |
| मेमोरी साइज़ | 96, 256, 512 GB | 128 GB |
| मेमोरी बैंडविड्थ | 819 GB/s | 273 GB/s |
| मॉडल के लिए, अधिकतम | लगभग 384 GB | लगभग 96 GB |
| अच्छी तरह चलने वाले मॉडल | 73 में से 60 | 73 में से 39 |
| मापा गया: लिखना | 92 tok/s | 57 tok/s |
| मापा गया: प्रॉम्प्ट पढ़ना | 1,471 tok/s | 3,062 tok/s |
मापी गई पंक्तियाँ: llama.cpp के सार्वजनिक बेंचमार्क में Llama 2 7B Q4_0 के साथ हर मशीन का सबसे तेज़ नतीजा, 128 टोकन लिखते हुए (tg128) और 512 टोकन का प्रॉम्प्ट पढ़ते हुए (pp512), टोकन प्रति सेकंड में। Mac पर Metal और DGX Spark पर CUDA चला। Apple Silicon के नतीजे · DGX Spark के नतीजे मॉडल के लिए हम दोनों में लगभग 75% मेमोरी गिनते हैं, जो macOS का डिफ़ॉल्ट है, क्योंकि DGX Spark में भी CPU और GPU एक ही मेमोरी साझा करते हैं। उसका GPU असल में कितनी इस्तेमाल कर सकता है, यह ऑपरेटिंग सिस्टम और सेटिंग्स पर निर्भर है।
कौन कहाँ आगे है
- लिखने की रफ़्तार। M3 Ultra, DGX Spark से लगभग 200% तेज़ मेमोरी पढ़ता है (819 बनाम 273 GB/s), इसलिए दोनों में फ़िट होने वाले किसी भी मॉडल के साथ यह लगभग 200% तेज़ लिखता है।
- मॉडल का आकार। M3 Ultra के पास मॉडल के लिए लगभग 384 GB है, DGX Spark के पास लगभग 96 GB। 73 लोकप्रिय ओपन मॉडल में से 60 M3 Ultra पर अच्छे से चलते हैं, और 39 DGX Spark पर।
- लंबे प्रॉम्प्ट पढ़ना। llama.cpp के मापे गए टेस्ट में DGX Spark प्रॉम्प्ट को लगभग 2.1× तेज़ पढ़ता है (3,062 बनाम 1,471 टोकन प्रति सेकंड)। प्रॉम्प्ट पढ़ना मेमोरी बैंडविड्थ पर नहीं, GPU की कंप्यूट ताक़त पर निर्भर है, और यही तय करता है कि लंबे दस्तावेज़ या कोडबेस के साथ पहले शब्द तक कितना इंतज़ार होगा।
- सॉफ़्टवेयर। DGX Spark NVIDIA का CUDA इस्तेमाल करता है, जिसे ज़्यादातर AI सॉफ़्टवेयर सबसे पहले सपोर्ट करते हैं, जिनमें ट्रेनिंग कोड और कई इमेज व वीडियो टूल शामिल हैं। Mac पर मॉडल इसके बजाय MLX, llama.cpp के Metal बैकएंड या PyTorch के MPS बैकएंड से चलते हैं।
- आसपास। दोनों पूरे कंप्यूटर हैं जो मॉडल को एक ही मेमोरी में रखते हैं, जिसे CPU और GPU साझा करते हैं।
- Mac। यह रोज़ का कंप्यूटर भी है, और Apple Silicon के लिए बने MLX Harness और MLX Node चलाता है।
लोकप्रिय मॉडल के साथ स्पीड
एक बातचीत के लिए टोकन प्रति सेकंड, हर चिप अपने सबसे बड़े मेमोरी साइज़ पर (512 GB और 128 GB), मॉडल के उस सबसे अच्छे वर्ज़न के साथ जो फ़िट होता है।
| मॉडल | M3 Ultra | DGX Spark |
|---|---|---|
| Llama 3.1 8B Instruct8B | 43–77 8-बिट | 14–26 8-बिट |
| gpt-oss-20b21B · 3.6B सक्रिय | 194–345 नेटिव 4.25-बिट | 65–115 नेटिव 4.25-बिट |
| Qwen3.6 35B A3B35B · 3B सक्रिय | 115–205 8-बिट | 38–68 8-बिट |
| Qwen3.8 27B27B | 13–23 8-बिट | 4–8 8-बिट |
| Llama 3.3 70B Instruct70B | 5–9 8-बिट | 2–3 8-बिट |
| gpt-oss-120b117B · 5.1B सक्रिय | 137–243 नेटिव 4.25-बिट | 45–81 नेटिव 4.25-बिट |
| Qwen3.5 122B A10B122B · 10B सक्रिय | 35–62 8-बिट | 22–39 4-बिट |
| DeepSeek V4 Flash 0731284B · 13B सक्रिय | 27–47 8-बिट | 30–53 2-बिट कम क्वालिटी |
सवाल
- क्या LLM के लिए DGX Spark, M3 Ultra से तेज़ है?
- M3 Ultra, DGX Spark से लगभग 200% तेज़ मेमोरी पढ़ता है (819 बनाम 273 GB/s), इसलिए दोनों में फ़िट होने वाले किसी भी मॉडल के साथ यह लगभग 200% तेज़ लिखता है। llama.cpp के मापे गए टेस्ट में DGX Spark प्रॉम्प्ट को लगभग 2.1× तेज़ पढ़ता है (3,062 बनाम 1,471 टोकन प्रति सेकंड)। प्रॉम्प्ट पढ़ना मेमोरी बैंडविड्थ पर नहीं, GPU की कंप्यूट ताक़त पर निर्भर है, और यही तय करता है कि लंबे दस्तावेज़ या कोडबेस के साथ पहले शब्द तक कितना इंतज़ार होगा।
- बड़े मॉडल कौन चला सकता है, M3 Ultra या DGX Spark?
- M3 Ultra के पास मॉडल के लिए लगभग 384 GB है, DGX Spark के पास लगभग 96 GB। 73 लोकप्रिय ओपन मॉडल में से 60 M3 Ultra पर अच्छे से चलते हैं, और 39 DGX Spark पर।
- क्या MLX Node DGX Spark पर चलता है?
- नहीं। MLX Node और MLX Harness सिर्फ़ Apple Silicon वाले Mac पर, Apple के MLX फ़्रेमवर्क के साथ चलते हैं।
और तुलनाएँ
- M4 Max vs DGX Spark
- M5 Max vs DGX Spark
- M5 Ultra vs DGX Spark
- M2 Ultra vs M3 Ultra
- M3 Max vs M3 Ultra
- M3 Ultra vs M4 Max
- M3 Ultra vs M5 Max
- M3 Ultra vs M5 Ultra
लोकल AI के लिए M3 Ultra · हर मॉडल की तुलना करें · लोकल LLM के लिए सबसे अच्छा Mac
हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।
DGX Spark का डेटा: NVIDIA: DGX Spark (specs)।