साथ-साथ तुलना
लोकप्रिय मॉडल के साथ स्पीड
एक बातचीत के लिए टोकन प्रति सेकंड, हर चिप अपने सबसे बड़े मेमोरी साइज़ पर (128 GB और 192 GB), मॉडल के उस सबसे अच्छे वर्ज़न के साथ जो फ़िट होता है।
| मॉडल | M1 Ultra | M2 Ultra |
|---|---|---|
| Llama 3.1 8B Instruct8B | 42–75 8-बिट | 42–75 8-बिट |
| gpt-oss-20b21B · 3.6B सक्रिय | 189–337 नेटिव 4.25-बिट | 189–337 नेटिव 4.25-बिट |
| Qwen3.6 35B A3B35B · 3B सक्रिय | 113–200 8-बिट | 113–200 8-बिट |
| Qwen3.8 27B27B | 13–22 8-बिट | 13–22 8-बिट |
| Llama 3.3 70B Instruct70B | 5–9 8-बिट | 5–9 8-बिट |
| gpt-oss-120b117B · 5.1B सक्रिय | 133–237 नेटिव 4.25-बिट | 133–237 नेटिव 4.25-बिट |
| Qwen3.5 122B A10B122B · 10B सक्रिय | 64–114 4-बिट | 34–60 8-बिट |
| DeepSeek V4 Flash 0731284B · 13B सक्रिय | 88–156 2-बिट कम क्वालिटी | 63–112 3-बिट कम क्वालिटी |
सवाल
- क्या LLM के लिए M2 Ultra, M1 Ultra से तेज़ है?
- लगभग बराबर: दोनों की मेमोरी बैंडविड्थ में बस कुछ प्रतिशत का फ़र्क है। M2 Ultra में 192 GB तक मेमोरी मिलती है, M1 Ultra में 128 GB तक।
- बड़े मॉडल कौन चला सकता है, M1 Ultra या M2 Ultra?
- M2 Ultra: M2 Ultra में 192 GB तक मेमोरी मिलती है, M1 Ultra में 128 GB तक। अपने सबसे बड़े साइज़ पर यह 73 में से 49 ओपन मॉडल अच्छी तरह चलाता है, जबकि दूसरा 47।
और तुलनाएँ
लोकल AI के लिए M1 Ultra · लोकल AI के लिए M2 Ultra · हर मॉडल की तुलना करें · लोकल LLM के लिए सबसे अच्छा Mac
हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।