Mistral Small 4 (119B) को कितनी मेमोरी चाहिए?

4-बिट पर लगभग 66.9 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 72.3 GB। Mac पर इसका मतलब है 128 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।

Mac पर Mistral Small 4 (119B) कितना तेज़ चलता है?

लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 128 GB वाला M2 Ultra है, लगभग 97–173 टोकन प्रति सेकंड (4-बिट)। इसे चलाने वाला सबसे छोटा Mac, 128 GB वाला M2 Ultra, लगभग 97–173 तक पहुँचता है।

Mistral Small 4 (119B) अपने साइज़ के हिसाब से तेज़ क्यों चलता है?

यह mixture-of-experts मॉडल है: यह मेमोरी में 119B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 6.5B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

क्या Mac पर Mistral Small 4 (119B) चलेगा? मेमोरी और स्पीड

हर प्रिसिज़न पर मेमोरी

वर्ज़न	वेट	कॉन्टेक्स्ट के साथ	सबसे छोटा Mac
8-बिट	126 GB	137 GB	192 GB
6-बिट	96.7 GB	104 GB	192 GB
4-बिट	66.9 GB	72.3 GB	128 GB
3-बिट कम क्वालिटी	52.1 GB	56.3 GB	96 GB
2-बिट कम क्वालिटी	37.2 GB	40.2 GB	64 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो Mistral Small 4 (119B) चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिप	ज़रूरत	वर्ज़न	टोकन/सेकंड
M6	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M5 Ultra	256 GB	8-बिट अच्छा चलता है	78–139
M5 Max	128 GB	4-बिट अच्छा चलता है	75–133
M5 Pro	64 GB	2-बिट अच्छा चलता है	69–123
M5	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M4 Max	128 GB	4-बिट अच्छा चलता है	66–118
M4 Pro	64 GB	2-बिट अच्छा चलता है	61–109
M4	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M3 Ultra	256 GB	8-बिट अच्छा चलता है	53–95
M3 Max	128 GB	4-बिट अच्छा चलता है	49–86
M3 Pro	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M3	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M2 Ultra	128 GB	4-बिट अच्छा चलता है	97–173
M2 Max	64 GB	2-बिट अच्छा चलता है	90–160
M2 Pro	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M2	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M1 Ultra	128 GB	4-बिट अच्छा चलता है	97–173
M1 Max	64 GB	2-बिट अच्छा चलता है	90–160
M1 Pro	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M1	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–

इसे कैसे चलाएँ

आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Mistral Small 4 (119B) खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
Terminal में Apple के MLX के साथ:pip install mlx-lmmlx_lm.chat --model mlx-community/Mistral-Small-4-119B-2603-4bitबिल्ड: Hugging Face पर mlx-community/Mistral-Small-4-119B-2603-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

Mistral Small 4 (119B) के बारे में

बनाने वाला	Mistral AI
पैरामीटर	119B कुल · 6.5B सक्रिय (mixture of experts)
कॉन्टेक्स्ट	256K टोकन
लाइसेंस	Apache-2.0
रिलीज़	2026-01
इनपुट	टेक्स्ट और इमेज
इंटेलिजेंस	Artificial Analysis Intelligence Index पर 11.3
वेट	mistralai/Mistral-Small-4-119B-2603

सवाल

Mistral Small 4 (119B) को कितनी मेमोरी चाहिए?: 4-बिट पर लगभग 66.9 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 72.3 GB। Mac पर इसका मतलब है 128 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर Mistral Small 4 (119B) कितना तेज़ चलता है?: लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 128 GB वाला M2 Ultra है, लगभग 97–173 टोकन प्रति सेकंड (4-बिट)। इसे चलाने वाला सबसे छोटा Mac, 128 GB वाला M2 Ultra, लगभग 97–173 तक पहुँचता है।
Mistral Small 4 (119B) अपने साइज़ के हिसाब से तेज़ क्यों चलता है?: यह mixture-of-experts मॉडल है: यह मेमोरी में 119B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 6.5B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Mistral Small 4 (119B) को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/mistral-small-4.svg)](https://mlx.app/run/mistral-small-4)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।