लॉग इनवॉलेट बनाएँ

क्या Mac पर Inkling चल सकता है?

हाँ, 512 GB या ज़्यादा यूनिफ़ाइड मेमोरी के साथ। Inkling में 975B पैरामीटर हैं, जिनमें से हर टोकन के लिए 41B सक्रिय रहते हैं; यहाँ देखें कि हर प्रिसिज़न पर इसे कितनी मेमोरी चाहिए और हर Apple चिप इसे कितनी तेज़ी से चलाती है।

4-बिट पर मेमोरी592 GBवेट 548 GB + कॉन्टेक्स्ट
सबसे छोटा Mac512 GB2-बिट · 2 Mac कॉन्फ़िगरेशन
सबसे तेज़ Mac42–75टोकन/सेकंड · M5 Ultra 512 GB (अनुमान)

हर प्रिसिज़न पर मेमोरी

वर्ज़नवेटकॉन्टेक्स्ट के साथसबसे छोटा Mac
8-बिट1 TB1.1 TBकिसी भी Mac से ज़्यादा
6-बिट792 GB856 GBकिसी भी Mac से ज़्यादा
4-बिट548 GB592 GBकिसी भी Mac से ज़्यादा
3-बिट कम क्वालिटी427 GB461 GBकिसी भी Mac से ज़्यादा
2-बिट कम क्वालिटी305 GB329 GB512 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो Inkling चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिपज़रूरतवर्ज़नटोकन/सेकंड
M6कोई साइज़ फ़िट नहींबहुत बड़ा–
M5 Ultra512 GB2-बिट अच्छा चलता है42–75
M5 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M5 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M5कोई साइज़ फ़िट नहींबहुत बड़ा–
M4 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M4 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M4कोई साइज़ फ़िट नहींबहुत बड़ा–
M3 Ultra512 GB2-बिट अच्छा चलता है29–51
M3 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M3 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M3कोई साइज़ फ़िट नहींबहुत बड़ा–
M2 Ultraकोई साइज़ फ़िट नहींबहुत बड़ा–
M2 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M2 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M2कोई साइज़ फ़िट नहींबहुत बड़ा–
M1 Ultraकोई साइज़ फ़िट नहींबहुत बड़ा–
M1 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M1 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M1कोई साइज़ फ़िट नहींबहुत बड़ा–

इसे कैसे चलाएँ

  1. आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Inkling खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
  2. Terminal में Apple के MLX के साथ:pip install mlx-lmmlx_lm.chat --model mlx-community/Inkling-mlx-4bitबिल्ड: Hugging Face पर mlx-community/Inkling-mlx-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

Inkling के बारे में

बनाने वालाThinking Machines Lab
पैरामीटर975B कुल · 41B सक्रिय (mixture of experts)
लाइसेंसApache-2.0
रिलीज़2026-07
इनपुटटेक्स्ट और इमेज
इंटेलिजेंसArtificial Analysis Intelligence Index पर 25
वेटthinkingmachines/Inkling

सवाल

Inkling को कितनी मेमोरी चाहिए?
4-बिट पर लगभग 548 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 592 GB। यह आज के किसी भी Mac की मेमोरी से ज़्यादा है।
Mac पर Inkling कितना तेज़ चलता है?
लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 512 GB वाला M5 Ultra है, लगभग 42–75 टोकन प्रति सेकंड (2-बिट)। इसे चलाने वाला सबसे छोटा Mac, 512 GB वाला M5 Ultra, लगभग 42–75 तक पहुँचता है।
Inkling अपने साइज़ के हिसाब से तेज़ क्यों चलता है?
यह mixture-of-experts मॉडल है: यह मेमोरी में 975B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 41B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Runs on a Mac: Inkling Inkling को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/inkling.svg)](https://mlx.app/run/inkling)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

क्या Mac पर Inkling चलेगा? मेमोरी और स्पीड