हर प्रिसिज़न पर मेमोरी
| वर्ज़न | वेट | कॉन्टेक्स्ट के साथ | सबसे छोटा Mac |
|---|---|---|---|
| 8-बिट | 2.6 TB | 2.8 TB | किसी भी Mac से ज़्यादा |
| 6-बिट | 2 TB | 2.1 TB | किसी भी Mac से ज़्यादा |
| 4-बिट | 1.4 TB | 1.5 TB | किसी भी Mac से ज़्यादा |
| 3-बिट कम क्वालिटी | 1.1 TB | 1.1 TB | किसी भी Mac से ज़्यादा |
| 2-बिट कम क्वालिटी | 750 GB | 810 GB | किसी भी Mac से ज़्यादा |
हर Apple चिप पर
हर चिप का सबसे छोटा मेमोरी साइज़ जो Qwen3.8 2.4T A95B चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।
| चिप | ज़रूरत | वर्ज़न | टोकन/सेकंड |
|---|---|---|---|
| M6 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M5 Ultra | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M5 Max | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M5 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M5 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M4 Max | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M4 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M4 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M3 Ultra | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M3 Max | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M3 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M3 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 Ultra | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 Max | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 Ultra | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 Max | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
इसे कैसे चलाएँ
कोई अकेला Mac इसे नहीं संभाल सकता। नीचे दिए छोटे मॉडल अच्छी तरह चलते हैं, और Mac क्लस्टर की गाइड बताती है कि एक मॉडल को कई Mac पर कैसे बाँटें।
स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp
Qwen3.8 2.4T A95B के बारे में
| बनाने वाला | Qwen (Alibaba) |
|---|---|
| पैरामीटर | 2,400B कुल · 95B सक्रिय (mixture of experts) |
| कॉन्टेक्स्ट | 256K टोकन |
| लाइसेंस | Qwen3.8-Max license (qwen3.8-max) |
| रिलीज़ | 2026-08 |
| इनपुट | टेक्स्ट |
| इंटेलिजेंस | Artificial Analysis Intelligence Index पर 39.9 |
| वेट | Qwen/Qwen3.8-2.4T-A95B |
सवाल
- Qwen3.8 2.4T A95B को कितनी मेमोरी चाहिए?
- 4-बिट पर लगभग 1.4 TB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 1.5 TB। यह आज के किसी भी Mac की मेमोरी से ज़्यादा है।
- क्या कोई भी Mac Qwen3.8 2.4T A95B चला सकता है?
- अकेले नहीं: 2 बिट पर भी इसे सबसे बड़े Mac से ज़्यादा मेमोरी चाहिए। कोई छोटा मॉडल इस्तेमाल करें, या क्लस्टर रनटाइम से इसे कई Mac पर बाँटें।
- Qwen3.8 2.4T A95B अपने साइज़ के हिसाब से तेज़ क्यों चलता है?
- यह mixture-of-experts मॉडल है: यह मेमोरी में 2,400B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 95B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।
मिलते-जुलते मॉडल
आपके मॉडल कार्ड या README के लिए
Qwen3.8 2.4T A95B को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।
[](https://mlx.app/run/qwen3.8-2.4t-a95b)हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।