लॉग इनवॉलेट तयार करा

24 GB असलेला M5 काय चालवू शकतो?

त्यावर 73 पैकी 23 ओपन मॉडेल चांगली चालतात. डिफॉल्टनुसार GPU त्याच्या 24 GB पैकी सुमारे 18 GB वापरू शकतो, आणि तो 153 GB/s ने मेमरी वाचतो, त्यावरून तो किती वेगाने लिहितो ते ठरते. यात मिळतो: MacBook Pro (14-inch, M5), MacBook Air (13-inch, M5), MacBook Air (15-inch, M5).

चांगले चालणारे सर्वात हुशारMiniCPM5 2B8-बिट · 2.7 GB · 26–45 tok/sचांगले चालणारे सर्वात मोठेGemma 4 26B A4B4-बिट · 14.2 GB · 33–58 tok/s

चांगली चालतात 28

कॉन्टेक्स्टसाठी जागा ठेवून बसतात, सेकंदाला 10 किंवा जास्त टोकनच्या वेगाने.

मॉडेलआवृत्तीमेमरीटोकन/सेकंद
MiniCPM5 2B2.52B · इंटेलिजन्स 12.58-बिट2.7 GB26–45
Qwen3.5 9B9B · इंटेलिजन्स 11.24-बिट5.1 GB14–24
Granite 4.2 8B8B · इंटेलिजन्स 11.16-बिट6.5 GB11–19
Granite 4.2 3B3B · इंटेलिजन्स 9.18-बिट3.2 GB22–38
gpt-oss-20b21B · 3.6B सक्रिय · इंटेलिजन्स 9नेटिव्ह 4.25-बिट13.8 GB36–64
Gemma 4 E4B8B · इंटेलिजन्स 8.98-बिट8.5 GB14–26
Ministral 3 8B8.9B · इंटेलिजन्स 5.56-बिट7.2 GB10–17
Nemotron 3 Nano 4B3.97B · इंटेलिजन्स 4.88-बिट4.2 GB16–29
Gemma 4 26B A4B25.2B · 3.8B सक्रिय4-बिट14.2 GB33–58
LFM2.5 24B A2B24B · 2B सक्रिय4-बिट13.5 GB63–111
Gemma 4 12B Unified12B4-बिट6.7 GB10–18
Qwen3 8B8.2B6-बिट6.7 GB10–18
Llama 3.1 8B Instruct8B6-बिट6.5 GB11–19
Gemma 4 E2B5.1B8-बिट5.4 GB29–51
Qwen3.5 4B4B8-बिट4.3 GB16–28
Phi-4 mini instruct3.8B8-बिट4 GB17–31
Llama 3.2 3B Instruct3.21B8-बिट3.4 GB20–36
SmolLM3 3B3B8-बिट3.2 GB22–38
LFM2.5 2.6B2.69B8-बिट2.9 GB24–42
Qwen3.5 2B2B8-बिट2.1 GB33–58
Llama 3.2 1B Instruct1.23B8-बिट1.3 GB53–94
Qwen3.5 0.8B0.8B8-बिट0.9 GB77–136
Qwen3 0.6B0.6B8-बिट0.6 GB115–204
Qwen3.6 35B A3B35B · 3B सक्रिय · इंटेलिजन्स 18.23-बिट कमी गुणवत्ता15.3 GB53–94
Nemotron 3.5 Lightning 30B A3B30B · 3B सक्रिय · इंटेलिजन्स 12.93-बिट कमी गुणवत्ता13.1 GB53–94
Nemotron 3 Nano 30B A3B30B · 3.5B सक्रिय · इंटेलिजन्स 8.93-बिट कमी गुणवत्ता13.1 GB46–82
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B सक्रिय3-बिट कमी गुणवत्ता13.3 GB49–87
GLM-4.7 Flash30B · 3B सक्रिय3-बिट कमी गुणवत्ता13.1 GB53–94

चालतात, पण हळू 10

बसतात, पण सेकंदाला 10 टोकनपेक्षा कमी: बॅच कामासाठी ठीक, चॅटसाठी हळू.

मॉडेलआवृत्तीमेमरीटोकन/सेकंद
Qwen3.8 27B27B · इंटेलिजन्स 33.74-बिट15.2 GB5–8
Qwen3.6 27B27B4-बिट15.2 GB5–8
Devstral Small 2 (24B)24B4-बिट13.5 GB5–9
Magistral Small 1.2 (2509)24B4-बिट13.5 GB5–9
Mistral Small 3.2 (24B)24B4-बिट13.5 GB5–9
Phi-4 Reasoning Vision 15B15B8-बिट15.9 GB4–8
Phi-4 (14B)14B8-बिट14.9 GB5–8
Muse Glimmer 30B29.6B · इंटेलिजन्स 17.53-बिट कमी गुणवत्ता13 GB5–9
Gemma 4 31B30.7B · इंटेलिजन्स 14.73-बिट कमी गुणवत्ता13.4 GB5–9
Granite 4.2 30B30B · इंटेलिजन्स 12.73-बिट कमी गुणवत्ता13.1 GB5–9

खूप मोठी 35

24 GB पेक्षा जास्त मेमरी लागते, अगदी 2 बिटलाही.

इतर Mac

24 GB असलेला प्रत्येक Mac, कोणत्याही चिपसह.

कमी किंवा जास्त मेमरीसह M5:

जवळच्या चिप:

समोरासमोर:

त्याची तुलना कोणत्याही Mac किंवा GPU शी करा · लोकल AI साठी M5 · लोकल LLM साठी सर्वोत्तम Mac · प्रत्येक Mac

प्रश्न

24 GB असलेल्या M5 साठी सर्वोत्तम LLM कोणते?
ज्या मॉडेलचा Intelligence Index प्रकाशित आहे, त्यांपैकी इथे चांगल्या चालणाऱ्यांमध्ये MiniCPM5 2B चा स्कोअर सर्वात जास्त आहे: 8-बिट, सेकंदाला सुमारे 26–45 टोकन. चांगले चालणारे सर्वात मोठे मॉडेल Gemma 4 26B A4B आहे.
24 GB असलेला M5 Llama 3.3 70B चालवू शकतो का?
नाही: 2 बिटलाही त्याला GPU डिफॉल्टनुसार वापरू शकतो त्या 18 GB पेक्षा जास्त लागते.
M5 वर gpt-oss-20b किती वेगाने चालते?
सेकंदाला सुमारे 36–64 टोकन (नेटिव्ह 4.25-बिट), चिपच्या 153 GB/s मेमरी बँडविड्थवरून.

ही मॉडेल MLX Harness (मोफत, ओपन सोर्स) ने किंवा Terminal मध्ये Apple च्या mlx-lm ने चालवा: टप्प्याटप्प्याने.

हिशोब कसा केला

मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.

24 GB असलेला M5 कोणती LLM चालवू शकतो? मॉडेल आणि वेग