हर प्रिसिज़न पर मेमोरी
| वर्ज़न | वेट | कॉन्टेक्स्ट के साथ | सबसे छोटा Mac |
|---|---|---|---|
| 8-बिट | 136 GB | 147 GB | 256 GB |
| 6-बिट | 104 GB | 112 GB | 192 GB |
| 4-बिट | 72 GB | 77.8 GB | 128 GB |
| 3-बिट कम क्वालिटी | 56 GB | 60.5 GB | 96 GB |
| 2-बिट कम क्वालिटी | 40 GB | 43.2 GB | 64 GB |
हर Apple चिप पर
हर चिप का सबसे छोटा मेमोरी साइज़ जो Mistral Medium 3.5 (128B) चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।
| चिप | ज़रूरत | वर्ज़न | टोकन/सेकंड |
|---|---|---|---|
| M6 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M5 Ultra | 256 GB | 8-बिट धीमा | 4–7 |
| M5 Max | 128 GB | 4-बिट धीमा | 4–7 |
| M5 Pro | 64 GB | 2-बिट धीमा | 3–6 |
| M5 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M4 Max | 128 GB | 4-बिट धीमा | 3–6 |
| M4 Pro | 64 GB | 2-बिट धीमा | 3–5 |
| M4 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M3 Ultra | 256 GB | 8-बिट धीमा | 3–5 |
| M3 Max | 128 GB | 4-बिट धीमा | 3–4 |
| M3 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M3 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 Ultra | 128 GB | 4-बिट धीमा | 5–9 |
| M2 Max | 64 GB | 2-बिट धीमा | 5–8 |
| M2 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 Ultra | 128 GB | 4-बिट धीमा | 5–9 |
| M1 Max | 64 GB | 2-बिट धीमा | 5–8 |
| M1 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
इसे कैसे चलाएँ
- आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Mistral Medium 3.5 (128B) खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
- Terminal में Apple के MLX के साथ:
pip install mlx-lmmlx_lm.chat --model mlx-community/Mistral-Medium-3.5-128B-4bitबिल्ड: Hugging Face पर mlx-community/Mistral-Medium-3.5-128B-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।
स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp
Mistral Medium 3.5 (128B) के बारे में
| बनाने वाला | Mistral AI |
|---|---|
| पैरामीटर | 128B (डेंस) |
| कॉन्टेक्स्ट | 256K टोकन |
| लाइसेंस | Modified MIT (exceptions for companies with large revenue) |
| रिलीज़ | 2026-03 |
| इनपुट | टेक्स्ट और इमेज |
| इंटेलिजेंस | Artificial Analysis Intelligence Index पर 14.2 |
| वेट | mistralai/Mistral-Medium-3.5-128B |
सवाल
- Mistral Medium 3.5 (128B) को कितनी मेमोरी चाहिए?
- 4-बिट पर लगभग 72 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 77.8 GB। Mac पर इसका मतलब है 128 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
- Mac पर Mistral Medium 3.5 (128B) कितना तेज़ चलता है?
- लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 128 GB वाला M2 Ultra है, लगभग 5–9 टोकन प्रति सेकंड (4-बिट)। इसे चलाने वाला सबसे छोटा Mac, 128 GB वाला M2 Ultra, लगभग 5–9 तक पहुँचता है।
- क्या क्वांटाइज़ेशन से Mistral Medium 3.5 (128B) की क्वालिटी घटती है?
- 4 बिट पर ज़्यादातर मॉडल मूल क्वालिटी के करीब रहते हैं; 4 बिट से नीचे क्वालिटी तेज़ी से गिरती है। वह सबसे ऊँचा प्रिसिज़न चुनें जो आपके Mac में आराम से फ़िट हो।
मिलते-जुलते मॉडल
आपके मॉडल कार्ड या README के लिए
Mistral Medium 3.5 (128B) को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।
[](https://mlx.app/run/mistral-medium-3.5)हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।