लॉग इनवॉलेट बनाएँ

क्या Mac पर Mistral Large 3 (675B) चल सकता है?

हाँ, 512 GB या ज़्यादा यूनिफ़ाइड मेमोरी के साथ। Mistral Large 3 (675B) में 675B पैरामीटर हैं, जिनमें से हर टोकन के लिए 41B सक्रिय रहते हैं; यहाँ देखें कि हर प्रिसिज़न पर इसे कितनी मेमोरी चाहिए और हर Apple चिप इसे कितनी तेज़ी से चलाती है।

4-बिट पर मेमोरी410 GBवेट 380 GB + कॉन्टेक्स्ट
सबसे छोटा Mac512 GB3-बिट · 2 Mac कॉन्फ़िगरेशन
सबसे तेज़ Mac30–54टोकन/सेकंड · M5 Ultra 512 GB (अनुमान)

हर प्रिसिज़न पर मेमोरी

वर्ज़नवेटकॉन्टेक्स्ट के साथसबसे छोटा Mac
8-बिट717 GB775 GBकिसी भी Mac से ज़्यादा
6-बिट548 GB592 GBकिसी भी Mac से ज़्यादा
4-बिट380 GB410 GBकिसी भी Mac से ज़्यादा
3-बिट कम क्वालिटी295 GB319 GB512 GB
2-बिट कम क्वालिटी211 GB228 GB512 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो Mistral Large 3 (675B) चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिपज़रूरतवर्ज़नटोकन/सेकंड
M6कोई साइज़ फ़िट नहींबहुत बड़ा–
M5 Ultra512 GB3-बिट अच्छा चलता है30–54
M5 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M5 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M5कोई साइज़ फ़िट नहींबहुत बड़ा–
M4 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M4 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M4कोई साइज़ फ़िट नहींबहुत बड़ा–
M3 Ultra512 GB3-बिट अच्छा चलता है21–37
M3 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M3 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M3कोई साइज़ फ़िट नहींबहुत बड़ा–
M2 Ultraकोई साइज़ फ़िट नहींबहुत बड़ा–
M2 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M2 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M2कोई साइज़ फ़िट नहींबहुत बड़ा–
M1 Ultraकोई साइज़ फ़िट नहींबहुत बड़ा–
M1 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M1 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M1कोई साइज़ फ़िट नहींबहुत बड़ा–

इसे कैसे चलाएँ

  1. आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Mistral Large 3 (675B) खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
  2. Terminal में Apple के MLX के साथ:pip install mlx-lmmlx_lm.chat --model mlx-community/Mistral-Large-3-675B-Instruct-2512-mlx-4bitबिल्ड: Hugging Face पर mlx-community/Mistral-Large-3-675B-Instruct-2512-mlx-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

Mistral Large 3 (675B) के बारे में

बनाने वालाMistral AI
पैरामीटर675B कुल · 41B सक्रिय (mixture of experts)
कॉन्टेक्स्ट256K टोकन
लाइसेंसApache-2.0
रिलीज़2025-11
इनपुटटेक्स्ट और इमेज
वेटmistralai/Mistral-Large-3-675B-Instruct-2512

सवाल

Mistral Large 3 (675B) को कितनी मेमोरी चाहिए?
4-बिट पर लगभग 380 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 410 GB। यह आज के किसी भी Mac की मेमोरी से ज़्यादा है।
Mac पर Mistral Large 3 (675B) कितना तेज़ चलता है?
लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 512 GB वाला M5 Ultra है, लगभग 30–54 टोकन प्रति सेकंड (3-बिट)। इसे चलाने वाला सबसे छोटा Mac, 512 GB वाला M5 Ultra, लगभग 30–54 तक पहुँचता है।
Mistral Large 3 (675B) अपने साइज़ के हिसाब से तेज़ क्यों चलता है?
यह mixture-of-experts मॉडल है: यह मेमोरी में 675B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 41B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Runs on a Mac: Mistral Large 3 (675B) Mistral Large 3 (675B) को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/mistral-large-3.svg)](https://mlx.app/run/mistral-large-3)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

क्या Mac पर Mistral Large 3 (675B) चलेगा? मेमोरी और स्पीड