लॉग इनवॉलेट तयार करा

लोकल AI साठी M5 Ultra विरुद्ध DGX Spark.

M5 Ultra हा DGX Spark पेक्षा सुमारे 340% वेगाने मेमरी वाचतो (1,200 विरुद्ध 273 GB/s), त्यामुळे दोघांत बसणाऱ्या कोणत्याही मॉडेलसह तो सुमारे 340% वेगाने लिहितो. M5 Ultra कडे मॉडेलसाठी सुमारे 384 GB आहे, DGX Spark कडे सुमारे 96 GB.

M5 Ultra1,200 GB/s512 GB पर्यंत · 61 मॉडेल चांगली चालतातDGX Spark273 GB/s128 GB पर्यंत · 39 मॉडेल चांगली चालतात

शेजारी-शेजारी

M5 UltraDGX Spark
हे काय आहेMac Studio (M5 Max or M5 Ultra)एक पूर्ण छोटा संगणक
मेमरी आकार96, 256, 512 GB128 GB
मेमरी बँडविड्थ1,200 GB/s273 GB/s
मॉडेलसाठी, जास्तीत जास्तसुमारे 384 GBसुमारे 96 GB
चांगली चालणारी मॉडेल73 पैकी 6173 पैकी 39
मोजलेले: लिहिणे179 tok/s57 tok/s
मोजलेले: प्रॉम्प्ट वाचणे4,945 tok/s3,062 tok/s

मोजलेल्या ओळी: llama.cpp च्या सार्वजनिक बेंचमार्कमध्ये Llama 2 7B Q4_0 सह प्रत्येक मशीनचा सर्वात वेगवान निकाल, 128 टोकन लिहिताना (tg128) आणि 512 टोकनचा प्रॉम्प्ट वाचताना (pp512), टोकन प्रति सेकंदात. Mac वर Metal आणि DGX Spark वर CUDA चालले. Apple Silicon चे निकाल · DGX Spark चे निकाल मॉडेलसाठी आम्ही दोन्हींमध्ये सुमारे 75% मेमरी मोजतो, जे macOS चे डीफॉल्ट आहे, कारण DGX Spark मध्येही CPU आणि GPU एकच मेमरी वाटून घेतात. त्याचा GPU प्रत्यक्षात किती वापरू शकतो हे ऑपरेटिंग सिस्टम आणि सेटिंग्जवर अवलंबून असते.

कोण कुठे पुढे आहे

  • लिहिण्याचा वेग. M5 Ultra हा DGX Spark पेक्षा सुमारे 340% वेगाने मेमरी वाचतो (1,200 विरुद्ध 273 GB/s), त्यामुळे दोघांत बसणाऱ्या कोणत्याही मॉडेलसह तो सुमारे 340% वेगाने लिहितो.
  • मॉडेलचा आकार. M5 Ultra कडे मॉडेलसाठी सुमारे 384 GB आहे, DGX Spark कडे सुमारे 96 GB. 73 लोकप्रिय ओपन मॉडेलपैकी 61 M5 Ultra वर चांगले चालतात, आणि 39 DGX Spark वर.
  • लांब प्रॉम्प्ट वाचणे. llama.cpp च्या मोजलेल्या चाचणीत M5 Ultra प्रॉम्प्ट सुमारे 1.6× वेगाने वाचतो (4,945 विरुद्ध 3,062 टोकन प्रति सेकंद). प्रॉम्प्ट वाचणे मेमरी बँडविड्थवर नाही तर GPU च्या संगणन क्षमतेवर अवलंबून असते, आणि लांब दस्तऐवज किंवा कोडबेससह पहिल्या शब्दापर्यंत किती थांबावे लागेल हे तेच ठरवते.
  • सॉफ्टवेअर. DGX Spark NVIDIA चे CUDA वापरतो, ज्याला बहुतेक AI सॉफ्टवेअर सर्वात आधी सपोर्ट करतात, त्यात ट्रेनिंग कोड आणि अनेक इमेज व व्हिडिओ टूल्स येतात. Mac वर मॉडेल त्याऐवजी MLX, llama.cpp चा Metal बॅकएंड किंवा PyTorch चा MPS बॅकएंड वापरून चालतात.
  • भोवतालचे. दोन्ही पूर्ण संगणक आहेत जे मॉडेल CPU आणि GPU वाटून घेणाऱ्या एकाच मेमरीत ठेवतात.
  • Mac. हा रोजचा संगणकही आहे, आणि Apple Silicon साठी बनवलेले MLX Harness आणि MLX Node चालवतो.

लोकप्रिय मॉडेलसह वेग

एका संभाषणासाठी सेकंदाला टोकन, प्रत्येक चिप तिच्या सर्वात मोठ्या मेमरी आकारावर (512 GB आणि 128 GB), मॉडेलच्या बसणाऱ्या सर्वोत्तम आवृत्तीसह.

मॉडेलM5 UltraDGX Spark
Llama 3.1 8B Instruct8B64–113 8-बिट14–26 8-बिट
gpt-oss-20b21B · 3.6B सक्रिय284–505 नेटिव्ह 4.25-बिट65–115 नेटिव्ह 4.25-बिट
Qwen3.6 35B A3B35B · 3B सक्रिय169–300 8-बिट38–68 8-बिट
Qwen3.8 27B27B19–33 8-बिट4–8 8-बिट
Llama 3.3 70B Instruct70B14–24 4-बिट2–3 8-बिट
gpt-oss-120b117B · 5.1B सक्रिय200–356 नेटिव्ह 4.25-बिट45–81 नेटिव्ह 4.25-बिट
Qwen3.5 122B A10B122B · 10B सक्रिय51–91 8-बिट22–39 4-बिट
DeepSeek V4 Flash 0731284B · 13B सक्रिय39–70 8-बिट30–53 2-बिट कमी गुणवत्ता

प्रश्न

LLM साठी DGX Spark हा M5 Ultra पेक्षा वेगवान आहे का?
M5 Ultra हा DGX Spark पेक्षा सुमारे 340% वेगाने मेमरी वाचतो (1,200 विरुद्ध 273 GB/s), त्यामुळे दोघांत बसणाऱ्या कोणत्याही मॉडेलसह तो सुमारे 340% वेगाने लिहितो. llama.cpp च्या मोजलेल्या चाचणीत M5 Ultra प्रॉम्प्ट सुमारे 1.6× वेगाने वाचतो (4,945 विरुद्ध 3,062 टोकन प्रति सेकंद). प्रॉम्प्ट वाचणे मेमरी बँडविड्थवर नाही तर GPU च्या संगणन क्षमतेवर अवलंबून असते, आणि लांब दस्तऐवज किंवा कोडबेससह पहिल्या शब्दापर्यंत किती थांबावे लागेल हे तेच ठरवते.
मोठी मॉडेल कोण चालवू शकतो, M5 Ultra की DGX Spark?
M5 Ultra कडे मॉडेलसाठी सुमारे 384 GB आहे, DGX Spark कडे सुमारे 96 GB. 73 लोकप्रिय ओपन मॉडेलपैकी 61 M5 Ultra वर चांगले चालतात, आणि 39 DGX Spark वर.
MLX Node DGX Spark वर चालतो का?
नाही. MLX Node आणि MLX Harness फक्त Apple Silicon असलेल्या Mac वर, Apple च्या MLX फ्रेमवर्कसह चालतात.

आणखी तुलना

लोकल AI साठी M5 Ultra · प्रत्येक मॉडेलची तुलना करा · लोकल LLM साठी सर्वोत्तम Mac

हिशोब कसा केला

मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.

DGX Spark चा डेटा: NVIDIA: DGX Spark (specs).

लोकल LLM साठी M5 Ultra विरुद्ध DGX Spark: मेमरी, वेग, कोणता घ्यावा