प्रत्येक प्रिसिजनला मेमरी
| आवृत्ती | वेट | कॉन्टेक्स्टसह | सर्वात लहान Mac |
|---|---|---|---|
| 8-बिट | 293 GB | 317 GB | 512 GB |
| 6-बिट | 224 GB | 242 GB | 512 GB |
| 4-बिट | 155 GB | 168 GB | 256 GB |
| 3-बिट कमी गुणवत्ता | 121 GB | 131 GB | 192 GB |
| 2-बिट कमी गुणवत्ता | 86.3 GB | 93.2 GB | 128 GB |
प्रत्येक Apple चिपवर
प्रत्येक चिपचा Inkling Small चालवणारा सर्वात लहान मेमरी आकार, त्यात बसणारी सर्वोत्तम आवृत्ती, आणि अपेक्षित लिहिण्याचा वेग.
| चिप | लागते | आवृत्ती | टोकन/सेकंद |
|---|---|---|---|
| M6 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M5 Ultra | 256 GB | 4-बिट चांगले चालते | 79–141 |
| M5 Max | 128 GB | 2-बिट चांगले चालते | 73–129 |
| M5 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M5 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M4 Max | 128 GB | 2-बिट चांगले चालते | 65–115 |
| M4 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M4 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M3 Ultra | 256 GB | 4-बिट चांगले चालते | 54–96 |
| M3 Max | 128 GB | 2-बिट चांगले चालते | 47–84 |
| M3 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M3 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M2 Ultra | 128 GB | 2-बिट चांगले चालते | 95–168 |
| M2 Max | कोणताही आकार बसत नाही | खूप मोठे | – |
| M2 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M2 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M1 Ultra | 128 GB | 2-बिट चांगले चालते | 95–168 |
| M1 Max | कोणताही आकार बसत नाही | खूप मोठे | – |
| M1 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M1 | कोणताही आकार बसत नाही | खूप मोठे | – |
ते कसे चालवायचे
- सोपा मार्ग: MLX Harness डाउनलोड करा, ते मोफत आणि ओपन सोर्स आहे. Inkling Small शोधा, तुमच्या Mac मध्ये बसणारी आवृत्ती डाउनलोड करा, आणि चॅट करा. ते OpenAI-compatible API द्वारे हे मॉडेल तुमच्या इतर ॲप्सनाही देते.MLX Harness डाउनलोड करामोफत · Apple Silicon · macOS 14.5 किंवा नंतरचे
- Terminal मध्ये Apple च्या MLX सह:
pip install mlx-lmmlx_lm.chat --model mlx-community/Inkling-Small-mlx-4bitबिल्ड: Hugging Face वर mlx-community/Inkling-Small-mlx-4bit. इतर प्रिसिजन त्याच्याच शेजारी आहेत.
टप्प्याटप्प्याने: Mac वर LLM डाउनलोड करा आणि चालवा · MLX Harness कसे वापरायचे · MLX विरुद्ध Ollama विरुद्ध llama.cpp
Inkling Small बद्दल
| निर्माते | Thinking Machines Lab |
|---|---|
| पॅरामीटर | 276B एकूण · 12B सक्रिय (mixture of experts) |
| परवाना | Apache-2.0 |
| प्रकाशित | 2026-07 |
| इनपुट | मजकूर आणि प्रतिमा |
| इंटेलिजन्स | Artificial Analysis Intelligence Index वर 25.7 |
| वेट | thinkingmachines/Inkling-Small |
प्रश्न
- Inkling Small ला किती मेमरी लागते?
- 4-बिट ला सुमारे 155 GB वेट, शिवाय कॉन्टेक्स्टसाठी जागा: एकूण 168 GB. Mac वर याचा अर्थ 256 GB किंवा जास्त युनिफाइड मेमरी, कारण डिफॉल्टनुसार macOS GPU ला त्यापैकी सुमारे 75% वापरू देते.
- Mac वर Inkling Small किती वेगाने चालते?
- लिहिण्याचा वेग मेमरी बँडविड्थवर अवलंबून असतो. यासाठी इथला सर्वात वेगवान Mac 256 GB असलेला M5 Ultra आहे, सेकंदाला सुमारे 79–141 टोकन (4-बिट). ते चालवणारा सर्वात लहान Mac, 256 GB असलेला M5 Ultra, सुमारे 79–141 पर्यंत पोहोचतो.
- Inkling Small त्याच्या आकाराच्या मानाने वेगाने का चालते?
- हे mixture-of-experts मॉडेल आहे: ते मेमरीत 276B पॅरामीटर ठेवते, पण प्रत्येक टोकनसाठी फक्त 12B वाचते, त्यामुळे ते खूप लहान मॉडेलच्या वेगाने लिहिते.
तत्सम मॉडेल
तुमच्या मॉडेल कार्ड किंवा README साठी
Inkling Small चांगले चालवणारा सर्वात लहान Mac दाखवते आणि इथे लिंक करते.
[](https://mlx.app/run/inkling-small)हिशोब कसा केला
मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.