साथ-साथ तुलना
लोकप्रिय मॉडल के साथ स्पीड
एक बातचीत के लिए टोकन प्रति सेकंड, हर चिप अपने सबसे बड़े मेमोरी साइज़ पर (192 GB और 512 GB), मॉडल के उस सबसे अच्छे वर्ज़न के साथ जो फ़िट होता है।
| मॉडल | M2 Ultra | M3 Ultra |
|---|---|---|
| Llama 3.1 8B Instruct8B | 42–75 8-बिट | 43–77 8-बिट |
| gpt-oss-20b21B · 3.6B सक्रिय | 189–337 नेटिव 4.25-बिट | 194–345 नेटिव 4.25-बिट |
| Qwen3.6 35B A3B35B · 3B सक्रिय | 113–200 8-बिट | 115–205 8-बिट |
| Qwen3.8 27B27B | 13–22 8-बिट | 13–23 8-बिट |
| Llama 3.3 70B Instruct70B | 5–9 8-बिट | 5–9 8-बिट |
| gpt-oss-120b117B · 5.1B सक्रिय | 133–237 नेटिव 4.25-बिट | 137–243 नेटिव 4.25-बिट |
| Qwen3.5 122B A10B122B · 10B सक्रिय | 34–60 8-बिट | 35–62 8-बिट |
| DeepSeek V4 Flash 0731284B · 13B सक्रिय | 63–112 3-बिट कम क्वालिटी | 27–47 8-बिट |
सवाल
- क्या LLM के लिए M3 Ultra, M2 Ultra से तेज़ है?
- लगभग बराबर: दोनों की मेमोरी बैंडविड्थ में बस कुछ प्रतिशत का फ़र्क है। M3 Ultra में 512 GB तक मेमोरी मिलती है, M2 Ultra में 192 GB तक।
- बड़े मॉडल कौन चला सकता है, M2 Ultra या M3 Ultra?
- M3 Ultra: M3 Ultra में 512 GB तक मेमोरी मिलती है, M2 Ultra में 192 GB तक। अपने सबसे बड़े साइज़ पर यह 73 में से 60 ओपन मॉडल अच्छी तरह चलाता है, जबकि दूसरा 49।
और तुलनाएँ
- M1 Ultra vs M2 Ultra
- M2 Max vs M2 Ultra
- M2 Ultra vs M4 Max
- M3 Max vs M3 Ultra
- M3 Ultra vs M4 Max
- M3 Ultra vs M5 Max
- M3 Ultra vs M5 Ultra
लोकल AI के लिए M2 Ultra · लोकल AI के लिए M3 Ultra · हर मॉडल की तुलना करें · लोकल LLM के लिए सबसे अच्छा Mac
हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।