हर प्रिसिज़न पर मेमोरी
| वर्ज़न | वेट | कॉन्टेक्स्ट के साथ | सबसे छोटा Mac |
|---|---|---|---|
| नेटिव 4.25-बिट | 1.6 TB | 1.7 TB | किसी भी Mac से ज़्यादा |
| 3-बिट कम क्वालिटी | 1.2 TB | 1.3 TB | किसी भी Mac से ज़्यादा |
| 2-बिट कम क्वालिटी | 875 GB | 945 GB | किसी भी Mac से ज़्यादा |
हर Apple चिप पर
हर चिप का सबसे छोटा मेमोरी साइज़ जो Kimi K3 चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।
| चिप | ज़रूरत | वर्ज़न | टोकन/सेकंड |
|---|---|---|---|
| M6 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M5 Ultra | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M5 Max | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M5 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M5 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M4 Max | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M4 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M4 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M3 Ultra | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M3 Max | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M3 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M3 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 Ultra | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 Max | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 Ultra | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 Max | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
इसे कैसे चलाएँ
कोई अकेला Mac इसे नहीं संभाल सकता। नीचे दिए छोटे मॉडल अच्छी तरह चलते हैं, और Mac क्लस्टर की गाइड बताती है कि एक मॉडल को कई Mac पर कैसे बाँटें।
स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp
Kimi K3 के बारे में
| बनाने वाला | Moonshot AI |
|---|---|
| पैरामीटर | 2,800B कुल · 104B सक्रिय (mixture of experts) |
| कॉन्टेक्स्ट | 1M टोकन |
| लाइसेंस | Kimi K3 License (custom) |
| रिलीज़ | 2026-06 |
| इनपुट | टेक्स्ट और इमेज |
| इंटेलिजेंस | Artificial Analysis Intelligence Index पर 43.6 |
| वेट | moonshotai/Kimi-K3 |
सवाल
- Kimi K3 को कितनी मेमोरी चाहिए?
- नेटिव 4.25-बिट पर लगभग 1.6 TB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 1.7 TB। यह आज के किसी भी Mac की मेमोरी से ज़्यादा है।
- क्या कोई भी Mac Kimi K3 चला सकता है?
- अकेले नहीं: 2 बिट पर भी इसे सबसे बड़े Mac से ज़्यादा मेमोरी चाहिए। कोई छोटा मॉडल इस्तेमाल करें, या क्लस्टर रनटाइम से इसे कई Mac पर बाँटें।
- Kimi K3 अपने साइज़ के हिसाब से तेज़ क्यों चलता है?
- यह mixture-of-experts मॉडल है: यह मेमोरी में 2,800B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 104B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।
मिलते-जुलते मॉडल
आपके मॉडल कार्ड या README के लिए
Kimi K3 को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।
[](https://mlx.app/run/kimi-k3)हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।