लॉग इनवॉलेट तयार करा

24 GB असलेला M4 Pro काय चालवू शकतो?

त्यावर 73 पैकी 25 ओपन मॉडेल चांगली चालतात. डिफॉल्टनुसार GPU त्याच्या 24 GB पैकी सुमारे 18 GB वापरू शकतो, आणि तो 273 GB/s ने मेमरी वाचतो, त्यावरून तो किती वेगाने लिहितो ते ठरते. यात मिळतो: Mac mini (2024), MacBook Pro (14-inch, M4 Pro or M4 Max, 2024), MacBook Pro (16-inch, 2024).

चांगले चालणारे सर्वात हुशारMiniCPM5 2B8-बिट · 2.7 GB · 45–81 tok/sचांगले चालणारे सर्वात मोठेGemma 4 26B A4B4-बिट · 14.2 GB · 59–104 tok/s

चांगली चालतात 30

कॉन्टेक्स्टसाठी जागा ठेवून बसतात, सेकंदाला 10 किंवा जास्त टोकनच्या वेगाने.

मॉडेलआवृत्तीमेमरीटोकन/सेकंद
MiniCPM5 2B2.52B · इंटेलिजन्स 12.58-बिट2.7 GB45–81
Qwen3.5 9B9B · इंटेलिजन्स 11.28-बिट9.6 GB13–23
Granite 4.2 8B8B · इंटेलिजन्स 11.18-बिट8.5 GB14–26
Granite 4.2 3B3B · इंटेलिजन्स 9.18-बिट3.2 GB38–68
gpt-oss-20b21B · 3.6B सक्रिय · इंटेलिजन्स 9नेटिव्ह 4.25-बिट13.8 GB65–115
Gemma 4 E4B8B · इंटेलिजन्स 8.98-बिट8.5 GB26–46
Ministral 3 8B8.9B · इंटेलिजन्स 5.58-बिट9.5 GB13–23
Nemotron 3 Nano 4B3.97B · इंटेलिजन्स 4.88-बिट4.2 GB29–52
Gemma 4 26B A4B25.2B · 3.8B सक्रिय4-बिट14.2 GB59–104
LFM2.5 24B A2B24B · 2B सक्रिय4-बिट13.5 GB112–199
Phi-4 Reasoning Vision 15B15B6-बिट12.2 GB10–18
Phi-4 (14B)14B6-बिट11.4 GB11–19
Gemma 4 12B Unified12B8-बिट12.7 GB10–17
Qwen3 8B8.2B8-बिट8.7 GB14–25
Llama 3.1 8B Instruct8B8-बिट8.5 GB14–26
Gemma 4 E2B5.1B8-बिट5.4 GB51–91
Qwen3.5 4B4B8-बिट4.3 GB29–51
Phi-4 mini instruct3.8B8-बिट4 GB31–55
Llama 3.2 3B Instruct3.21B8-बिट3.4 GB36–64
SmolLM3 3B3B8-बिट3.2 GB38–68
LFM2.5 2.6B2.69B8-बिट2.9 GB42–75
Qwen3.5 2B2B8-बिट2.1 GB59–104
Llama 3.2 1B Instruct1.23B8-बिट1.3 GB95–168
Qwen3.5 0.8B0.8B8-बिट0.9 GB137–243
Qwen3 0.6B0.6B8-बिट0.6 GB205–364
Qwen3.6 35B A3B35B · 3B सक्रिय · इंटेलिजन्स 18.23-बिट कमी गुणवत्ता15.3 GB95–168
Nemotron 3.5 Lightning 30B A3B30B · 3B सक्रिय · इंटेलिजन्स 12.93-बिट कमी गुणवत्ता13.1 GB95–168
Nemotron 3 Nano 30B A3B30B · 3.5B सक्रिय · इंटेलिजन्स 8.93-बिट कमी गुणवत्ता13.1 GB82–146
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B सक्रिय3-बिट कमी गुणवत्ता13.3 GB88–156
GLM-4.7 Flash30B · 3B सक्रिय3-बिट कमी गुणवत्ता13.1 GB95–168

चालतात, पण हळू 8

बसतात, पण सेकंदाला 10 टोकनपेक्षा कमी: बॅच कामासाठी ठीक, चॅटसाठी हळू.

मॉडेलआवृत्तीमेमरीटोकन/सेकंद
Qwen3.8 27B27B · इंटेलिजन्स 33.74-बिट15.2 GB8–14
Qwen3.6 27B27B4-बिट15.2 GB8–14
Devstral Small 2 (24B)24B4-बिट13.5 GB9–16
Magistral Small 1.2 (2509)24B4-बिट13.5 GB9–16
Mistral Small 3.2 (24B)24B4-बिट13.5 GB9–16
Muse Glimmer 30B29.6B · इंटेलिजन्स 17.53-बिट कमी गुणवत्ता13 GB9–17
Gemma 4 31B30.7B · इंटेलिजन्स 14.73-बिट कमी गुणवत्ता13.4 GB9–16
Granite 4.2 30B30B · इंटेलिजन्स 12.73-बिट कमी गुणवत्ता13.1 GB9–17

खूप मोठी 35

24 GB पेक्षा जास्त मेमरी लागते, अगदी 2 बिटलाही.

इतर Mac

24 GB असलेला प्रत्येक Mac, कोणत्याही चिपसह.

कमी किंवा जास्त मेमरीसह M4 Pro:

जवळच्या चिप:

समोरासमोर:

PC आणि ग्राफिक्स कार्डशी तुलना:

त्याची तुलना कोणत्याही Mac किंवा GPU शी करा · लोकल AI साठी M4 Pro · लोकल LLM साठी सर्वोत्तम Mac · प्रत्येक Mac

प्रश्न

24 GB असलेल्या M4 Pro साठी सर्वोत्तम LLM कोणते?
ज्या मॉडेलचा Intelligence Index प्रकाशित आहे, त्यांपैकी इथे चांगल्या चालणाऱ्यांमध्ये MiniCPM5 2B चा स्कोअर सर्वात जास्त आहे: 8-बिट, सेकंदाला सुमारे 45–81 टोकन. चांगले चालणारे सर्वात मोठे मॉडेल Gemma 4 26B A4B आहे.
24 GB असलेला M4 Pro Llama 3.3 70B चालवू शकतो का?
नाही: 2 बिटलाही त्याला GPU डिफॉल्टनुसार वापरू शकतो त्या 18 GB पेक्षा जास्त लागते.
M4 Pro वर gpt-oss-20b किती वेगाने चालते?
सेकंदाला सुमारे 65–115 टोकन (नेटिव्ह 4.25-बिट), चिपच्या 273 GB/s मेमरी बँडविड्थवरून.

ही मॉडेल MLX Harness (मोफत, ओपन सोर्स) ने किंवा Terminal मध्ये Apple च्या mlx-lm ने चालवा: टप्प्याटप्प्याने.

हिशोब कसा केला

मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.

24 GB असलेला M4 Pro कोणती LLM चालवू शकतो? मॉडेल आणि वेग