हर प्रिसिज़न पर मेमोरी
| वर्ज़न | वेट | कॉन्टेक्स्ट के साथ | सबसे छोटा Mac |
|---|---|---|---|
| नेटिव 4-बिट | 595 GB | 643 GB | किसी भी Mac से ज़्यादा |
| 3-बिट कम क्वालिटी | 438 GB | 473 GB | किसी भी Mac से ज़्यादा |
| 2-बिट कम क्वालिटी | 313 GB | 338 GB | 512 GB |
हर Apple चिप पर
हर चिप का सबसे छोटा मेमोरी साइज़ जो Kimi K2.6 चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।
| चिप | ज़रूरत | वर्ज़न | टोकन/सेकंड |
|---|---|---|---|
| M6 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M5 Ultra | 512 GB | 2-बिट अच्छा चलता है | 54–96 |
| M5 Max | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M5 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M5 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M4 Max | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M4 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M4 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M3 Ultra | 512 GB | 2-बिट अच्छा चलता है | 37–66 |
| M3 Max | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M3 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M3 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 Ultra | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 Max | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 Ultra | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 Max | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
इसे कैसे चलाएँ
- आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Kimi K2.6 खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
- Terminal में Apple के MLX के साथ:
pip install mlx-lmmlx_lm.chat --model mlx-community/Kimi-K2.6-mlx-DQ3_K_M-q8बिल्ड: Hugging Face पर mlx-community/Kimi-K2.6-mlx-DQ3_K_M-q8। दूसरे प्रिसिज़न उसी के पास मिलते हैं।
स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp
Kimi K2.6 के बारे में
| बनाने वाला | Moonshot AI |
|---|---|
| पैरामीटर | 1,000B कुल · 32B सक्रिय (mixture of experts) |
| कॉन्टेक्स्ट | 256K टोकन |
| लाइसेंस | Modified MIT |
| रिलीज़ | 2026-04 |
| इनपुट | टेक्स्ट और इमेज |
| वेट | moonshotai/Kimi-K2.6 |
सवाल
- Kimi K2.6 को कितनी मेमोरी चाहिए?
- नेटिव 4-बिट पर लगभग 595 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 643 GB। यह आज के किसी भी Mac की मेमोरी से ज़्यादा है।
- Mac पर Kimi K2.6 कितना तेज़ चलता है?
- लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 512 GB वाला M5 Ultra है, लगभग 54–96 टोकन प्रति सेकंड (2-बिट)। इसे चलाने वाला सबसे छोटा Mac, 512 GB वाला M5 Ultra, लगभग 54–96 तक पहुँचता है।
- Kimi K2.6 अपने साइज़ के हिसाब से तेज़ क्यों चलता है?
- यह mixture-of-experts मॉडल है: यह मेमोरी में 1,000B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 32B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।
मिलते-जुलते मॉडल
आपके मॉडल कार्ड या README के लिए
Kimi K2.6 को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।
[](https://mlx.app/run/kimi-k2.6)हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।