प्रत्येक प्रिसिजनला मेमरी
| आवृत्ती | वेट | कॉन्टेक्स्टसह | सर्वात लहान Mac |
|---|---|---|---|
| 8-बिट | 1 TB | 1.1 TB | कोणत्याही Mac पेक्षा जास्त |
| 6-बिट | 792 GB | 856 GB | कोणत्याही Mac पेक्षा जास्त |
| 4-बिट | 548 GB | 592 GB | कोणत्याही Mac पेक्षा जास्त |
| 3-बिट कमी गुणवत्ता | 427 GB | 461 GB | कोणत्याही Mac पेक्षा जास्त |
| 2-बिट कमी गुणवत्ता | 305 GB | 329 GB | 512 GB |
प्रत्येक Apple चिपवर
प्रत्येक चिपचा Inkling चालवणारा सर्वात लहान मेमरी आकार, त्यात बसणारी सर्वोत्तम आवृत्ती, आणि अपेक्षित लिहिण्याचा वेग.
| चिप | लागते | आवृत्ती | टोकन/सेकंद |
|---|---|---|---|
| M6 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M5 Ultra | 512 GB | 2-बिट चांगले चालते | 42–75 |
| M5 Max | कोणताही आकार बसत नाही | खूप मोठे | – |
| M5 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M5 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M4 Max | कोणताही आकार बसत नाही | खूप मोठे | – |
| M4 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M4 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M3 Ultra | 512 GB | 2-बिट चांगले चालते | 29–51 |
| M3 Max | कोणताही आकार बसत नाही | खूप मोठे | – |
| M3 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M3 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M2 Ultra | कोणताही आकार बसत नाही | खूप मोठे | – |
| M2 Max | कोणताही आकार बसत नाही | खूप मोठे | – |
| M2 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M2 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M1 Ultra | कोणताही आकार बसत नाही | खूप मोठे | – |
| M1 Max | कोणताही आकार बसत नाही | खूप मोठे | – |
| M1 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M1 | कोणताही आकार बसत नाही | खूप मोठे | – |
ते कसे चालवायचे
- सोपा मार्ग: MLX Harness डाउनलोड करा, ते मोफत आणि ओपन सोर्स आहे. Inkling शोधा, तुमच्या Mac मध्ये बसणारी आवृत्ती डाउनलोड करा, आणि चॅट करा. ते OpenAI-compatible API द्वारे हे मॉडेल तुमच्या इतर ॲप्सनाही देते.MLX Harness डाउनलोड करामोफत · Apple Silicon · macOS 14.5 किंवा नंतरचे
- Terminal मध्ये Apple च्या MLX सह:
pip install mlx-lmmlx_lm.chat --model mlx-community/Inkling-mlx-4bitबिल्ड: Hugging Face वर mlx-community/Inkling-mlx-4bit. इतर प्रिसिजन त्याच्याच शेजारी आहेत.
टप्प्याटप्प्याने: Mac वर LLM डाउनलोड करा आणि चालवा · MLX Harness कसे वापरायचे · MLX विरुद्ध Ollama विरुद्ध llama.cpp
Inkling बद्दल
| निर्माते | Thinking Machines Lab |
|---|---|
| पॅरामीटर | 975B एकूण · 41B सक्रिय (mixture of experts) |
| परवाना | Apache-2.0 |
| प्रकाशित | 2026-07 |
| इनपुट | मजकूर आणि प्रतिमा |
| इंटेलिजन्स | Artificial Analysis Intelligence Index वर 25 |
| वेट | thinkingmachines/Inkling |
प्रश्न
- Inkling ला किती मेमरी लागते?
- 4-बिट ला सुमारे 548 GB वेट, शिवाय कॉन्टेक्स्टसाठी जागा: एकूण 592 GB. आज कोणत्याही Mac कडे इतकी मेमरी नाही.
- Mac वर Inkling किती वेगाने चालते?
- लिहिण्याचा वेग मेमरी बँडविड्थवर अवलंबून असतो. यासाठी इथला सर्वात वेगवान Mac 512 GB असलेला M5 Ultra आहे, सेकंदाला सुमारे 42–75 टोकन (2-बिट). ते चालवणारा सर्वात लहान Mac, 512 GB असलेला M5 Ultra, सुमारे 42–75 पर्यंत पोहोचतो.
- Inkling त्याच्या आकाराच्या मानाने वेगाने का चालते?
- हे mixture-of-experts मॉडेल आहे: ते मेमरीत 975B पॅरामीटर ठेवते, पण प्रत्येक टोकनसाठी फक्त 41B वाचते, त्यामुळे ते खूप लहान मॉडेलच्या वेगाने लिहिते.
तत्सम मॉडेल
तुमच्या मॉडेल कार्ड किंवा README साठी
Inkling चांगले चालवणारा सर्वात लहान Mac दाखवते आणि इथे लिंक करते.
[](https://mlx.app/run/inkling)हिशोब कसा केला
मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.