हर प्रिसिज़न पर मेमोरी
| वर्ज़न | वेट | कॉन्टेक्स्ट के साथ | सबसे छोटा Mac |
|---|---|---|---|
| 8-बिट | 130 GB | 140 GB | 192 GB |
| 6-बिट | 99.1 GB | 107 GB | 192 GB |
| 4-बिट | 68.6 GB | 74.1 GB | 128 GB |
| 3-बिट कम क्वालिटी | 53.4 GB | 57.7 GB | 96 GB |
| 2-बिट कम क्वालिटी | 38.1 GB | 41.1 GB | 64 GB |
हर Apple चिप पर
हर चिप का सबसे छोटा मेमोरी साइज़ जो Qwen3.5 122B A10B चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।
| चिप | ज़रूरत | वर्ज़न | टोकन/सेकंड |
|---|---|---|---|
| M6 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M5 Ultra | 256 GB | 8-बिट अच्छा चलता है | 51–91 |
| M5 Max | 128 GB | 4-बिट अच्छा चलता है | 49–88 |
| M5 Pro | 64 GB | 2-बिट अच्छा चलता है | 45–79 |
| M5 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M4 Max | 128 GB | 4-बिट अच्छा चलता है | 44–78 |
| M4 Pro | 64 GB | 2-बिट अच्छा चलता है | 40–70 |
| M4 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M3 Ultra | 256 GB | 8-बिट अच्छा चलता है | 35–62 |
| M3 Max | 128 GB | 4-बिट अच्छा चलता है | 32–57 |
| M3 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M3 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 Ultra | 128 GB | 4-बिट अच्छा चलता है | 64–114 |
| M2 Max | 64 GB | 2-बिट अच्छा चलता है | 58–103 |
| M2 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 Ultra | 128 GB | 4-बिट अच्छा चलता है | 64–114 |
| M1 Max | 64 GB | 2-बिट अच्छा चलता है | 58–103 |
| M1 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
इसे कैसे चलाएँ
- आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Qwen3.5 122B A10B खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
- Terminal में Apple के MLX के साथ:
pip install mlx-lmmlx_lm.chat --model mlx-community/Qwen3.5-122B-A10B-4bitबिल्ड: Hugging Face पर mlx-community/Qwen3.5-122B-A10B-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।
स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp
Qwen3.5 122B A10B के बारे में
| बनाने वाला | Qwen (Alibaba) |
|---|---|
| पैरामीटर | 122B कुल · 10B सक्रिय (mixture of experts) |
| कॉन्टेक्स्ट | 256K टोकन |
| लाइसेंस | Apache-2.0 |
| रिलीज़ | 2026-02 |
| इनपुट | टेक्स्ट और इमेज |
| इंटेलिजेंस | Artificial Analysis Intelligence Index पर 15.6 |
| वेट | Qwen/Qwen3.5-122B-A10B |
सवाल
- Qwen3.5 122B A10B को कितनी मेमोरी चाहिए?
- 4-बिट पर लगभग 68.6 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 74.1 GB। Mac पर इसका मतलब है 128 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
- Mac पर Qwen3.5 122B A10B कितना तेज़ चलता है?
- लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 128 GB वाला M2 Ultra है, लगभग 64–114 टोकन प्रति सेकंड (4-बिट)। इसे चलाने वाला सबसे छोटा Mac, 128 GB वाला M2 Ultra, लगभग 64–114 तक पहुँचता है।
- Qwen3.5 122B A10B अपने साइज़ के हिसाब से तेज़ क्यों चलता है?
- यह mixture-of-experts मॉडल है: यह मेमोरी में 122B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 10B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।
मिलते-जुलते मॉडल
आपके मॉडल कार्ड या README के लिए
Qwen3.5 122B A10B को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।
[](https://mlx.app/run/qwen3.5-122b-a10b)हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।