हर प्रिसिज़न पर मेमोरी
| वर्ज़न | वेट | कॉन्टेक्स्ट के साथ | सबसे छोटा Mac |
|---|---|---|---|
| 8-बिट | 25.5 GB | 27.5 GB | 48 GB |
| 6-बिट | 19.5 GB | 21.1 GB | 32 GB |
| 4-बिट | 13.5 GB | 15 GB | 24 GB |
| 3-बिट कम क्वालिटी | 10.5 GB | 12 GB | 16 GB |
| 2-बिट कम क्वालिटी | 7.5 GB | 9 GB | 16 GB |
हर Apple चिप पर
हर चिप का सबसे छोटा मेमोरी साइज़ जो Devstral Small 2 (24B) चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।
| चिप | ज़रूरत | वर्ज़न | टोकन/सेकंड |
|---|---|---|---|
| M6 | 24 GB | 4-बिट धीमा | 6–10 |
| M5 Ultra | 96 GB | 8-बिट अच्छा चलता है | 21–38 |
| M5 Max | 36 GB | 6-बिट अच्छा चलता है | 11–19 |
| M5 Pro | 24 GB | 4-बिट अच्छा चलता है | 10–18 |
| M5 | 24 GB | 4-बिट धीमा | 5–9 |
| M4 Max | 36 GB | 4-बिट अच्छा चलता है | 14–24 |
| M4 Pro | 24 GB | 4-बिट धीमा | 9–16 |
| M4 | 24 GB | 4-बिट धीमा | 4–7 |
| M3 Ultra | 96 GB | 8-बिट अच्छा चलता है | 14–26 |
| M3 Max | 36 GB | 4-बिट अच्छा चलता है | 10–18 |
| M3 Pro | 36 GB | 6-बिट धीमा | 3–6 |
| M3 | 24 GB | 4-बिट धीमा | 3–6 |
| M2 Ultra | 64 GB | 8-बिट अच्छा चलता है | 14–25 |
| M2 Max | 32 GB | 4-बिट अच्छा चलता है | 13–24 |
| M2 Pro | 32 GB | 6-बिट धीमा | 5–8 |
| M2 | 24 GB | 4-बिट धीमा | 3–6 |
| M1 Ultra | 64 GB | 8-बिट अच्छा चलता है | 14–25 |
| M1 Max | 32 GB | 4-बिट अच्छा चलता है | 13–24 |
| M1 Pro | 32 GB | 6-बिट धीमा | 5–8 |
| M1 | 16 GB | 3-बिट धीमा | 3–5 |
इसे कैसे चलाएँ
- आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Devstral Small 2 (24B) खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
- Terminal में Apple के MLX के साथ:
pip install mlx-lmmlx_lm.chat --model mlx-community/Devstral-Small-2-24B-Instruct-2512-4bitबिल्ड: Hugging Face पर mlx-community/Devstral-Small-2-24B-Instruct-2512-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।
स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp
Devstral Small 2 (24B) के बारे में
| बनाने वाला | Mistral AI |
|---|---|
| पैरामीटर | 24B (डेंस) |
| कॉन्टेक्स्ट | 256K टोकन |
| लाइसेंस | Apache-2.0 |
| रिलीज़ | 2025-11 |
| इनपुट | टेक्स्ट और इमेज |
| वेट | mistralai/Devstral-Small-2-24B-Instruct-2512 |
सवाल
- Devstral Small 2 (24B) को कितनी मेमोरी चाहिए?
- 4-बिट पर लगभग 13.5 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 15 GB। Mac पर इसका मतलब है 24 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
- Mac पर Devstral Small 2 (24B) कितना तेज़ चलता है?
- लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 21–38 टोकन प्रति सेकंड (8-बिट)। इसे चलाने वाला सबसे छोटा Mac, 24 GB वाला M5 Pro, लगभग 10–18 तक पहुँचता है।
- क्या क्वांटाइज़ेशन से Devstral Small 2 (24B) की क्वालिटी घटती है?
- 4 बिट पर ज़्यादातर मॉडल मूल क्वालिटी के करीब रहते हैं; 4 बिट से नीचे क्वालिटी तेज़ी से गिरती है। वह सबसे ऊँचा प्रिसिज़न चुनें जो आपके Mac में आराम से फ़िट हो।
मिलते-जुलते मॉडल
आपके मॉडल कार्ड या README के लिए
Devstral Small 2 (24B) को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।
[](https://mlx.app/run/devstral-small-2)हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।