साथ-साथ तुलना
लोकप्रिय मॉडल के साथ स्पीड
एक बातचीत के लिए टोकन प्रति सेकंड, हर चिप अपने सबसे बड़े मेमोरी साइज़ पर (512 GB और 512 GB), मॉडल के उस सबसे अच्छे वर्ज़न के साथ जो फ़िट होता है।
| मॉडल | M3 Ultra | M5 Ultra |
|---|---|---|
| Llama 3.1 8B Instruct8B | 43–77 8-बिट | 64–113 8-बिट |
| gpt-oss-20b21B · 3.6B सक्रिय | 194–345 नेटिव 4.25-बिट | 284–505 नेटिव 4.25-बिट |
| Qwen3.6 35B A3B35B · 3B सक्रिय | 115–205 8-बिट | 169–300 8-बिट |
| Qwen3.8 27B27B | 13–23 8-बिट | 19–33 8-बिट |
| Llama 3.3 70B Instruct70B | 5–9 8-बिट | 14–24 4-बिट |
| gpt-oss-120b117B · 5.1B सक्रिय | 137–243 नेटिव 4.25-बिट | 200–356 नेटिव 4.25-बिट |
| Qwen3.5 122B A10B122B · 10B सक्रिय | 35–62 8-बिट | 51–91 8-बिट |
| DeepSeek V4 Flash 0731284B · 13B सक्रिय | 27–47 8-बिट | 39–70 8-बिट |
सवाल
- क्या LLM के लिए M5 Ultra, M3 Ultra से तेज़ है?
- M5 Ultra, M3 Ultra से लगभग 47% तेज़ मेमोरी पढ़ता है (1,200 बनाम 819 GB/s), इसलिए दोनों में फ़िट होने वाले किसी भी मॉडल के साथ यह लगभग 47% तेज़ लिखता है। लंबा प्रॉम्प्ट पढ़ना GPU कंप्यूट पर निर्भर करता है, जो इस तुलना में शामिल नहीं है।
- बड़े मॉडल कौन चला सकता है, M3 Ultra या M5 Ultra?
- किसी को बढ़त नहीं: दोनों में 512 GB तक मेमोरी मिलती है। उस साइज़ पर 73 ओपन मॉडल में से M3 Ultra पर 60 और M5 Ultra पर 61 अच्छी तरह चलते हैं; तेज़ चिप उनमें से ज़्यादा मॉडल को 10 टोकन प्रति सेकंड के पार ले जाती है।
और तुलनाएँ
- M2 Ultra vs M3 Ultra
- M3 Max vs M3 Ultra
- M3 Ultra vs M4 Max
- M3 Ultra vs M5 Max
- M4 Max vs M5 Ultra
- M5 Max vs M5 Ultra
लोकल AI के लिए M3 Ultra · लोकल AI के लिए M5 Ultra · हर मॉडल की तुलना करें · लोकल LLM के लिए सबसे अच्छा Mac
हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।