लॉग इनवॉलेट बनाएँ

क्या Mac पर Magistral Small 1.2 (2509) चल सकता है?

हाँ, 24 GB या ज़्यादा यूनिफ़ाइड मेमोरी के साथ। Magistral Small 1.2 (2509) में 24B पैरामीटर हैं; यहाँ देखें कि हर प्रिसिज़न पर इसे कितनी मेमोरी चाहिए और हर Apple चिप इसे कितनी तेज़ी से चलाती है।

4-बिट पर मेमोरी15 GBवेट 13.5 GB + कॉन्टेक्स्ट
सबसे छोटा Mac24 GB4-बिट · 55 Mac कॉन्फ़िगरेशन
सबसे तेज़ Mac21–38टोकन/सेकंड · M5 Ultra 96 GB (अनुमान)

हर प्रिसिज़न पर मेमोरी

वर्ज़नवेटकॉन्टेक्स्ट के साथसबसे छोटा Mac
8-बिट25.5 GB27.5 GB48 GB
6-बिट19.5 GB21.1 GB32 GB
4-बिट13.5 GB15 GB24 GB
3-बिट कम क्वालिटी10.5 GB12 GB16 GB
2-बिट कम क्वालिटी7.5 GB9 GB16 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो Magistral Small 1.2 (2509) चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिपज़रूरतवर्ज़नटोकन/सेकंड
M624 GB4-बिट धीमा6–10
M5 Ultra96 GB8-बिट अच्छा चलता है21–38
M5 Max36 GB6-बिट अच्छा चलता है11–19
M5 Pro24 GB4-बिट अच्छा चलता है10–18
M524 GB4-बिट धीमा5–9
M4 Max36 GB4-बिट अच्छा चलता है14–24
M4 Pro24 GB4-बिट धीमा9–16
M424 GB4-बिट धीमा4–7
M3 Ultra96 GB8-बिट अच्छा चलता है14–26
M3 Max36 GB4-बिट अच्छा चलता है10–18
M3 Pro36 GB6-बिट धीमा3–6
M324 GB4-बिट धीमा3–6
M2 Ultra64 GB8-बिट अच्छा चलता है14–25
M2 Max32 GB4-बिट अच्छा चलता है13–24
M2 Pro32 GB6-बिट धीमा5–8
M224 GB4-बिट धीमा3–6
M1 Ultra64 GB8-बिट अच्छा चलता है14–25
M1 Max32 GB4-बिट अच्छा चलता है13–24
M1 Pro32 GB6-बिट धीमा5–8
M116 GB3-बिट धीमा3–5

इसे कैसे चलाएँ

  1. आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Magistral Small 1.2 (2509) खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
  2. Terminal में Apple के MLX के साथ: अभी कोई कम्युनिटी MLX बिल्ड नहीं है, इसलिए आधिकारिक वेट से खुद बनाएँ:pip install mlx-lmmlx_lm.convert --hf-path mistralai/Magistral-Small-2509 -q

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

Magistral Small 1.2 (2509) के बारे में

बनाने वालाMistral AI
पैरामीटर24B (डेंस)
कॉन्टेक्स्ट128K टोकन
लाइसेंसApache-2.0
रिलीज़2025-09
इनपुटटेक्स्ट और इमेज
वेटmistralai/Magistral-Small-2509

सवाल

Magistral Small 1.2 (2509) को कितनी मेमोरी चाहिए?
4-बिट पर लगभग 13.5 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 15 GB। Mac पर इसका मतलब है 24 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर Magistral Small 1.2 (2509) कितना तेज़ चलता है?
लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 21–38 टोकन प्रति सेकंड (8-बिट)। इसे चलाने वाला सबसे छोटा Mac, 24 GB वाला M5 Pro, लगभग 10–18 तक पहुँचता है।
क्या क्वांटाइज़ेशन से Magistral Small 1.2 (2509) की क्वालिटी घटती है?
4 बिट पर ज़्यादातर मॉडल मूल क्वालिटी के करीब रहते हैं; 4 बिट से नीचे क्वालिटी तेज़ी से गिरती है। वह सबसे ऊँचा प्रिसिज़न चुनें जो आपके Mac में आराम से फ़िट हो।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Runs on a Mac: Magistral Small 1.2 (2509) Magistral Small 1.2 (2509) को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/magistral-small-2509.svg)](https://mlx.app/run/magistral-small-2509)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

क्या Mac पर Magistral Small 1.2 (2509) चलेगा? मेमोरी और स्पीड