प्रत्येक प्रिसिजनला मेमरी
| आवृत्ती | वेट | कॉन्टेक्स्टसह | सर्वात लहान Mac |
|---|---|---|---|
| 8-बिट | 136 GB | 147 GB | 256 GB |
| 6-बिट | 104 GB | 112 GB | 192 GB |
| 4-बिट | 72 GB | 77.8 GB | 128 GB |
| 3-बिट कमी गुणवत्ता | 56 GB | 60.5 GB | 96 GB |
| 2-बिट कमी गुणवत्ता | 40 GB | 43.2 GB | 64 GB |
प्रत्येक Apple चिपवर
प्रत्येक चिपचा Mistral Medium 3.5 (128B) चालवणारा सर्वात लहान मेमरी आकार, त्यात बसणारी सर्वोत्तम आवृत्ती, आणि अपेक्षित लिहिण्याचा वेग.
| चिप | लागते | आवृत्ती | टोकन/सेकंद |
|---|---|---|---|
| M6 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M5 Ultra | 256 GB | 8-बिट हळू | 4–7 |
| M5 Max | 128 GB | 4-बिट हळू | 4–7 |
| M5 Pro | 64 GB | 2-बिट हळू | 3–6 |
| M5 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M4 Max | 128 GB | 4-बिट हळू | 3–6 |
| M4 Pro | 64 GB | 2-बिट हळू | 3–5 |
| M4 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M3 Ultra | 256 GB | 8-बिट हळू | 3–5 |
| M3 Max | 128 GB | 4-बिट हळू | 3–4 |
| M3 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M3 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M2 Ultra | 128 GB | 4-बिट हळू | 5–9 |
| M2 Max | 64 GB | 2-बिट हळू | 5–8 |
| M2 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M2 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M1 Ultra | 128 GB | 4-बिट हळू | 5–9 |
| M1 Max | 64 GB | 2-बिट हळू | 5–8 |
| M1 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M1 | कोणताही आकार बसत नाही | खूप मोठे | – |
ते कसे चालवायचे
- सोपा मार्ग: MLX Harness डाउनलोड करा, ते मोफत आणि ओपन सोर्स आहे. Mistral Medium 3.5 (128B) शोधा, तुमच्या Mac मध्ये बसणारी आवृत्ती डाउनलोड करा, आणि चॅट करा. ते OpenAI-compatible API द्वारे हे मॉडेल तुमच्या इतर ॲप्सनाही देते.MLX Harness डाउनलोड करामोफत · Apple Silicon · macOS 14.5 किंवा नंतरचे
- Terminal मध्ये Apple च्या MLX सह:
pip install mlx-lmmlx_lm.chat --model mlx-community/Mistral-Medium-3.5-128B-4bitबिल्ड: Hugging Face वर mlx-community/Mistral-Medium-3.5-128B-4bit. इतर प्रिसिजन त्याच्याच शेजारी आहेत.
टप्प्याटप्प्याने: Mac वर LLM डाउनलोड करा आणि चालवा · MLX Harness कसे वापरायचे · MLX विरुद्ध Ollama विरुद्ध llama.cpp
Mistral Medium 3.5 (128B) बद्दल
| निर्माते | Mistral AI |
|---|---|
| पॅरामीटर | 128B (डेन्स) |
| कॉन्टेक्स्ट | 256K टोकन |
| परवाना | Modified MIT (exceptions for companies with large revenue) |
| प्रकाशित | 2026-03 |
| इनपुट | मजकूर आणि प्रतिमा |
| इंटेलिजन्स | Artificial Analysis Intelligence Index वर 14.2 |
| वेट | mistralai/Mistral-Medium-3.5-128B |
प्रश्न
- Mistral Medium 3.5 (128B) ला किती मेमरी लागते?
- 4-बिट ला सुमारे 72 GB वेट, शिवाय कॉन्टेक्स्टसाठी जागा: एकूण 77.8 GB. Mac वर याचा अर्थ 128 GB किंवा जास्त युनिफाइड मेमरी, कारण डिफॉल्टनुसार macOS GPU ला त्यापैकी सुमारे 75% वापरू देते.
- Mac वर Mistral Medium 3.5 (128B) किती वेगाने चालते?
- लिहिण्याचा वेग मेमरी बँडविड्थवर अवलंबून असतो. यासाठी इथला सर्वात वेगवान Mac 128 GB असलेला M2 Ultra आहे, सेकंदाला सुमारे 5–9 टोकन (4-बिट). ते चालवणारा सर्वात लहान Mac, 128 GB असलेला M2 Ultra, सुमारे 5–9 पर्यंत पोहोचतो.
- क्वांटायझेशनमुळे Mistral Medium 3.5 (128B) ची गुणवत्ता कमी होते का?
- 4 बिटला बहुतेक मॉडेल मूळ गुणवत्तेच्या जवळ राहतात; 4 बिटपेक्षा खाली गुणवत्ता वेगाने घसरते. तुमच्या Mac मध्ये जागा ठेवून बसणारी सर्वात उच्च प्रिसिजन निवडा.
तत्सम मॉडेल
तुमच्या मॉडेल कार्ड किंवा README साठी
Mistral Medium 3.5 (128B) चांगले चालवणारा सर्वात लहान Mac दाखवते आणि इथे लिंक करते.
[](https://mlx.app/run/mistral-medium-3.5)हिशोब कसा केला
मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.