हर प्रिसिज़न पर मेमोरी
| वर्ज़न | वेट | कॉन्टेक्स्ट के साथ | सबसे छोटा Mac |
|---|---|---|---|
| 8-बिट | 293 GB | 317 GB | 512 GB |
| 6-बिट | 224 GB | 242 GB | 512 GB |
| 4-बिट | 155 GB | 168 GB | 256 GB |
| 3-बिट कम क्वालिटी | 121 GB | 131 GB | 192 GB |
| 2-बिट कम क्वालिटी | 86.3 GB | 93.2 GB | 128 GB |
हर Apple चिप पर
हर चिप का सबसे छोटा मेमोरी साइज़ जो Inkling Small चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।
| चिप | ज़रूरत | वर्ज़न | टोकन/सेकंड |
|---|---|---|---|
| M6 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M5 Ultra | 256 GB | 4-बिट अच्छा चलता है | 79–141 |
| M5 Max | 128 GB | 2-बिट अच्छा चलता है | 73–129 |
| M5 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M5 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M4 Max | 128 GB | 2-बिट अच्छा चलता है | 65–115 |
| M4 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M4 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M3 Ultra | 256 GB | 4-बिट अच्छा चलता है | 54–96 |
| M3 Max | 128 GB | 2-बिट अच्छा चलता है | 47–84 |
| M3 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M3 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 Ultra | 128 GB | 2-बिट अच्छा चलता है | 95–168 |
| M2 Max | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 Ultra | 128 GB | 2-बिट अच्छा चलता है | 95–168 |
| M1 Max | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
इसे कैसे चलाएँ
- आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Inkling Small खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
- Terminal में Apple के MLX के साथ:
pip install mlx-lmmlx_lm.chat --model mlx-community/Inkling-Small-mlx-4bitबिल्ड: Hugging Face पर mlx-community/Inkling-Small-mlx-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।
स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp
Inkling Small के बारे में
| बनाने वाला | Thinking Machines Lab |
|---|---|
| पैरामीटर | 276B कुल · 12B सक्रिय (mixture of experts) |
| लाइसेंस | Apache-2.0 |
| रिलीज़ | 2026-07 |
| इनपुट | टेक्स्ट और इमेज |
| इंटेलिजेंस | Artificial Analysis Intelligence Index पर 25.7 |
| वेट | thinkingmachines/Inkling-Small |
सवाल
- Inkling Small को कितनी मेमोरी चाहिए?
- 4-बिट पर लगभग 155 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 168 GB। Mac पर इसका मतलब है 256 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
- Mac पर Inkling Small कितना तेज़ चलता है?
- लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 256 GB वाला M5 Ultra है, लगभग 79–141 टोकन प्रति सेकंड (4-बिट)। इसे चलाने वाला सबसे छोटा Mac, 256 GB वाला M5 Ultra, लगभग 79–141 तक पहुँचता है।
- Inkling Small अपने साइज़ के हिसाब से तेज़ क्यों चलता है?
- यह mixture-of-experts मॉडल है: यह मेमोरी में 276B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 12B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।
मिलते-जुलते मॉडल
आपके मॉडल कार्ड या README के लिए
Inkling Small को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।
[](https://mlx.app/run/inkling-small)हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।