साथ-साथ तुलना
लोकप्रिय मॉडल के साथ स्पीड
एक बातचीत के लिए टोकन प्रति सेकंड, हर चिप अपने सबसे बड़े मेमोरी साइज़ पर (64 GB और 128 GB), मॉडल के उस सबसे अच्छे वर्ज़न के साथ जो फ़िट होता है।
| मॉडल | M1 Max | M1 Ultra |
|---|---|---|
| Llama 3.1 8B Instruct8B | 21–38 8-बिट | 42–75 8-बिट |
| gpt-oss-20b21B · 3.6B सक्रिय | 95–168 नेटिव 4.25-बिट | 189–337 नेटिव 4.25-बिट |
| Qwen3.6 35B A3B35B · 3B सक्रिय | 56–100 8-बिट | 113–200 8-बिट |
| Qwen3.8 27B27B | 12–21 4-बिट | 13–22 8-बिट |
| Llama 3.3 70B Instruct70B | 5–8 4-बिट | 5–9 8-बिट |
| gpt-oss-120b117B · 5.1B सक्रिय | 113–200 2-बिट कम क्वालिटी | 133–237 नेटिव 4.25-बिट |
| Qwen3.5 122B A10B122B · 10B सक्रिय | 58–103 2-बिट कम क्वालिटी | 64–114 4-बिट |
| DeepSeek V4 Flash 0731284B · 13B सक्रिय | बहुत बड़ा | 88–156 2-बिट कम क्वालिटी |
सवाल
- क्या LLM के लिए M1 Ultra, M1 Max से तेज़ है?
- M1 Ultra, M1 Max से लगभग 100% तेज़ मेमोरी पढ़ता है (800 बनाम 400 GB/s), इसलिए दोनों में फ़िट होने वाले किसी भी मॉडल के साथ यह लगभग 100% तेज़ लिखता है। लंबा प्रॉम्प्ट पढ़ना GPU कंप्यूट पर निर्भर करता है, जो इस तुलना में शामिल नहीं है।
- बड़े मॉडल कौन चला सकता है, M1 Max या M1 Ultra?
- M1 Ultra: M1 Ultra में 128 GB तक मेमोरी मिलती है, M1 Max में 64 GB तक। अपने सबसे बड़े साइज़ पर यह 73 में से 47 ओपन मॉडल अच्छी तरह चलाता है, जबकि दूसरा 39।
और तुलनाएँ
लोकल AI के लिए M1 Max · लोकल AI के लिए M1 Ultra · हर मॉडल की तुलना करें · लोकल LLM के लिए सबसे अच्छा Mac
हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।