हर प्रिसिज़न पर मेमोरी
| वर्ज़न | वेट | कॉन्टेक्स्ट के साथ | सबसे छोटा Mac |
|---|---|---|---|
| 8-बिट | 85 GB | 91.8 GB | 128 GB |
| 6-बिट | 65 GB | 70.2 GB | 96 GB |
| 4-बिट | 45 GB | 48.6 GB | 96 GB |
| 3-बिट कम क्वालिटी | 35 GB | 37.8 GB | 64 GB |
| 2-बिट कम क्वालिटी | 25 GB | 27 GB | 36 GB |
हर Apple चिप पर
हर चिप का सबसे छोटा मेमोरी साइज़ जो Qwen3 Coder Next चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।
| चिप | ज़रूरत | वर्ज़न | टोकन/सेकंड |
|---|---|---|---|
| M6 | 32 GB | 2-बिट मुश्किल से | 85–151 |
| M5 Ultra | 96 GB | 6-बिट अच्छा चलता है | 225–400 |
| M5 Max | 128 GB | 8-बिट अच्छा चलता है | 86–154 |
| M5 Pro | 48 GB | 2-बिट अच्छा चलता है | 154–273 |
| M5 | 32 GB | 2-बिट मुश्किल से | 77–136 |
| M4 Max | 128 GB | 8-बिट अच्छा चलता है | 77–137 |
| M4 Pro | 48 GB | 2-बिट अच्छा चलता है | 137–243 |
| M4 | 32 GB | 2-बिट मुश्किल से | 60–107 |
| M3 Ultra | 96 GB | 6-बिट अच्छा चलता है | 154–273 |
| M3 Max | 96 GB | 6-बिट अच्छा चलता है | 56–100 |
| M3 Pro | 36 GB | 2-बिट अच्छा चलता है | 75–133 |
| M3 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 Ultra | 128 GB | 8-बिट अच्छा चलता है | 113–200 |
| M2 Max | 96 GB | 6-बिट अच्छा चलता है | 75–133 |
| M2 Pro | 32 GB | 2-बिट मुश्किल से | 100–178 |
| M2 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 Ultra | 128 GB | 8-बिट अच्छा चलता है | 113–200 |
| M1 Max | 64 GB | 3-बिट अच्छा चलता है | 138–246 |
| M1 Pro | 32 GB | 2-बिट मुश्किल से | 100–178 |
| M1 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
इसे कैसे चलाएँ
- आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Qwen3 Coder Next खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
- Terminal में Apple के MLX के साथ:
pip install mlx-lmmlx_lm.chat --model mlx-community/Qwen3-Coder-Next-4bitबिल्ड: Hugging Face पर mlx-community/Qwen3-Coder-Next-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।
स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp
Qwen3 Coder Next के बारे में
| बनाने वाला | Qwen (Alibaba) |
|---|---|
| पैरामीटर | 80B कुल · 3B सक्रिय (mixture of experts) |
| कॉन्टेक्स्ट | 256K टोकन |
| लाइसेंस | Apache-2.0 |
| रिलीज़ | 2026-01 |
| इनपुट | टेक्स्ट |
| इंटेलिजेंस | Artificial Analysis Intelligence Index पर 9.2 |
| वेट | Qwen/Qwen3-Coder-Next |
सवाल
- Qwen3 Coder Next को कितनी मेमोरी चाहिए?
- 4-बिट पर लगभग 45 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 48.6 GB। Mac पर इसका मतलब है 96 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
- Mac पर Qwen3 Coder Next कितना तेज़ चलता है?
- लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 225–400 टोकन प्रति सेकंड (6-बिट)। इसे चलाने वाला सबसे छोटा Mac, 96 GB वाला M5 Ultra, लगभग 225–400 तक पहुँचता है।
- Qwen3 Coder Next अपने साइज़ के हिसाब से तेज़ क्यों चलता है?
- यह mixture-of-experts मॉडल है: यह मेमोरी में 80B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 3B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।
मिलते-जुलते मॉडल
आपके मॉडल कार्ड या README के लिए
Qwen3 Coder Next को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।
[](https://mlx.app/run/qwen3-coder-next)हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।