लॉग इनवॉलेट तयार करा

Mac वर Mistral Small 3.2 (24B) चालू शकते का?

हो, 24 GB किंवा जास्त युनिफाइड मेमरीसह. Mistral Small 3.2 (24B) मध्ये 24B पॅरामीटर आहेत; प्रत्येक प्रिसिजनला त्याला किती मेमरी लागते आणि प्रत्येक Apple चिप ते किती वेगाने चालवते, ते इथे पाहा.

4-बिट ला मेमरी15 GBवेट 13.5 GB + कॉन्टेक्स्ट
सर्वात लहान Mac24 GB4-बिट · 55 Mac कॉन्फिगरेशन
सर्वात वेगवान Mac21–38टोकन/सेकंद · M5 Ultra 96 GB (अंदाज)

प्रत्येक प्रिसिजनला मेमरी

आवृत्तीवेटकॉन्टेक्स्टसहसर्वात लहान Mac
8-बिट25.5 GB27.5 GB48 GB
6-बिट19.5 GB21.1 GB32 GB
4-बिट13.5 GB15 GB24 GB
3-बिट कमी गुणवत्ता10.5 GB12 GB16 GB
2-बिट कमी गुणवत्ता7.5 GB9 GB16 GB

प्रत्येक Apple चिपवर

प्रत्येक चिपचा Mistral Small 3.2 (24B) चालवणारा सर्वात लहान मेमरी आकार, त्यात बसणारी सर्वोत्तम आवृत्ती, आणि अपेक्षित लिहिण्याचा वेग.

चिपलागतेआवृत्तीटोकन/सेकंद
M624 GB4-बिट हळू6–10
M5 Ultra96 GB8-बिट चांगले चालते21–38
M5 Max36 GB6-बिट चांगले चालते11–19
M5 Pro24 GB4-बिट चांगले चालते10–18
M524 GB4-बिट हळू5–9
M4 Max36 GB4-बिट चांगले चालते14–24
M4 Pro24 GB4-बिट हळू9–16
M424 GB4-बिट हळू4–7
M3 Ultra96 GB8-बिट चांगले चालते14–26
M3 Max36 GB4-बिट चांगले चालते10–18
M3 Pro36 GB6-बिट हळू3–6
M324 GB4-बिट हळू3–6
M2 Ultra64 GB8-बिट चांगले चालते14–25
M2 Max32 GB4-बिट चांगले चालते13–24
M2 Pro32 GB6-बिट हळू5–8
M224 GB4-बिट हळू3–6
M1 Ultra64 GB8-बिट चांगले चालते14–25
M1 Max32 GB4-बिट चांगले चालते13–24
M1 Pro32 GB6-बिट हळू5–8
M116 GB3-बिट हळू3–5

ते कसे चालवायचे

  1. सोपा मार्ग: MLX Harness डाउनलोड करा, ते मोफत आणि ओपन सोर्स आहे. Mistral Small 3.2 (24B) शोधा, तुमच्या Mac मध्ये बसणारी आवृत्ती डाउनलोड करा, आणि चॅट करा. ते OpenAI-compatible API द्वारे हे मॉडेल तुमच्या इतर ॲप्सनाही देते.MLX Harness डाउनलोड करामोफत · Apple Silicon · macOS 14.5 किंवा नंतरचे
  2. Terminal मध्ये Apple च्या MLX सह:pip install mlx-lmmlx_lm.chat --model mlx-community/Mistral-Small-3.2-24B-Instruct-2506-4bitबिल्ड: Hugging Face वर mlx-community/Mistral-Small-3.2-24B-Instruct-2506-4bit. इतर प्रिसिजन त्याच्याच शेजारी आहेत.

टप्प्याटप्प्याने: Mac वर LLM डाउनलोड करा आणि चालवा · MLX Harness कसे वापरायचे · MLX विरुद्ध Ollama विरुद्ध llama.cpp

Mistral Small 3.2 (24B) बद्दल

निर्मातेMistral AI
पॅरामीटर24B (डेन्स)
कॉन्टेक्स्ट128K टोकन
परवानाApache-2.0
प्रकाशित2025-06
इनपुटमजकूर आणि प्रतिमा
वेटmistralai/Mistral-Small-3.2-24B-Instruct-2506

प्रश्न

Mistral Small 3.2 (24B) ला किती मेमरी लागते?
4-बिट ला सुमारे 13.5 GB वेट, शिवाय कॉन्टेक्स्टसाठी जागा: एकूण 15 GB. Mac वर याचा अर्थ 24 GB किंवा जास्त युनिफाइड मेमरी, कारण डिफॉल्टनुसार macOS GPU ला त्यापैकी सुमारे 75% वापरू देते.
Mac वर Mistral Small 3.2 (24B) किती वेगाने चालते?
लिहिण्याचा वेग मेमरी बँडविड्थवर अवलंबून असतो. यासाठी इथला सर्वात वेगवान Mac 96 GB असलेला M5 Ultra आहे, सेकंदाला सुमारे 21–38 टोकन (8-बिट). ते चालवणारा सर्वात लहान Mac, 24 GB असलेला M5 Pro, सुमारे 10–18 पर्यंत पोहोचतो.
क्वांटायझेशनमुळे Mistral Small 3.2 (24B) ची गुणवत्ता कमी होते का?
4 बिटला बहुतेक मॉडेल मूळ गुणवत्तेच्या जवळ राहतात; 4 बिटपेक्षा खाली गुणवत्ता वेगाने घसरते. तुमच्या Mac मध्ये जागा ठेवून बसणारी सर्वात उच्च प्रिसिजन निवडा.

तत्सम मॉडेल

प्रत्येक मॉडेल · प्रत्येक Mac · तुमच्या Mac ची तुलना करा

तुमच्या मॉडेल कार्ड किंवा README साठी

Runs on a Mac: Mistral Small 3.2 (24B) Mistral Small 3.2 (24B) चांगले चालवणारा सर्वात लहान Mac दाखवते आणि इथे लिंक करते.

[![Runs on a Mac](https://mlx.app/badge/run/mistral-small-3.2.svg)](https://mlx.app/run/mistral-small-3.2)

हिशोब कसा केला

मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.

Mac वर Mistral Small 3.2 (24B) चालू शकते का? मेमरी आणि वेग