लॉग इनवॉलेट तयार करा

18 GB असलेला M3 Pro काय चालवू शकतो?

त्यावर 73 पैकी 20 ओपन मॉडेल चांगली चालतात. डिफॉल्टनुसार GPU त्याच्या 18 GB पैकी सुमारे 14 GB वापरू शकतो, आणि तो 150 GB/s ने मेमरी वाचतो, त्यावरून तो किती वेगाने लिहितो ते ठरते. यात मिळतो: MacBook Pro (14-inch, M3 Pro or M3 Max, Nov 2023), MacBook Pro (16-inch, Nov 2023).

चांगले चालणारे सर्वात हुशारMiniCPM5 2B8-बिट · 2.7 GB · 25–44 tok/sचांगले चालणारे सर्वात मोठेGemma 4 12B Unified4-बिट · 6.7 GB · 10–18 tok/s

चांगली चालतात 27

कॉन्टेक्स्टसाठी जागा ठेवून बसतात, सेकंदाला 10 किंवा जास्त टोकनच्या वेगाने.

मॉडेलआवृत्तीमेमरीटोकन/सेकंद
MiniCPM5 2B2.52B · इंटेलिजन्स 12.58-बिट2.7 GB25–44
Qwen3.5 9B9B · इंटेलिजन्स 11.24-बिट5.1 GB13–24
Granite 4.2 8B8B · इंटेलिजन्स 11.16-बिट6.5 GB10–18
Granite 4.2 3B3B · इंटेलिजन्स 9.18-बिट3.2 GB21–38
Gemma 4 E4B8B · इंटेलिजन्स 8.98-बिट8.5 GB14–25
Ministral 3 8B8.9B · इंटेलिजन्स 5.54-बिट5 GB14–24
Nemotron 3 Nano 4B3.97B · इंटेलिजन्स 4.88-बिट4.2 GB16–29
Gemma 4 12B Unified12B4-बिट6.7 GB10–18
Qwen3 8B8.2B6-बिट6.7 GB10–18
Llama 3.1 8B Instruct8B6-बिट6.5 GB10–18
Gemma 4 E2B5.1B8-बिट5.4 GB28–50
Qwen3.5 4B4B8-बिट4.3 GB16–28
Phi-4 mini instruct3.8B8-बिट4 GB17–30
Llama 3.2 3B Instruct3.21B8-बिट3.4 GB20–35
SmolLM3 3B3B8-बिट3.2 GB21–38
LFM2.5 2.6B2.69B8-बिट2.9 GB23–41
Qwen3.5 2B2B8-बिट2.1 GB32–57
Llama 3.2 1B Instruct1.23B8-बिट1.3 GB52–92
Qwen3.5 0.8B0.8B8-बिट0.9 GB75–133
Qwen3 0.6B0.6B8-बिट0.6 GB113–200
Qwen3.6 35B A3B35B · 3B सक्रिय · इंटेलिजन्स 18.22-बिट कमी गुणवत्ता10.9 GB75–133
Nemotron 3.5 Lightning 30B A3B30B · 3B सक्रिय · इंटेलिजन्स 12.92-बिट कमी गुणवत्ता9.4 GB75–133
Nemotron 3 Nano 30B A3B30B · 3.5B सक्रिय · इंटेलिजन्स 8.92-बिट कमी गुणवत्ता9.4 GB61–109
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B सक्रिय2-बिट कमी गुणवत्ता9.5 GB68–120
GLM-4.7 Flash30B · 3B सक्रिय2-बिट कमी गुणवत्ता9.4 GB75–133
Gemma 4 26B A4B25.2B · 3.8B सक्रिय3-बिट कमी गुणवत्ता11 GB40–71
LFM2.5 24B A2B24B · 2B सक्रिय3-बिट कमी गुणवत्ता10.5 GB75–133

चालतात, पण हळू 10

बसतात, पण सेकंदाला 10 टोकनपेक्षा कमी: बॅच कामासाठी ठीक, चॅटसाठी हळू.

मॉडेलआवृत्तीमेमरीटोकन/सेकंद
Phi-4 Reasoning Vision 15B15B4-बिट8.4 GB8–14
Phi-4 (14B)14B6-बिट11.4 GB6–11
Qwen3.8 27B27B · इंटेलिजन्स 33.73-बिट कमी गुणवत्ता11.8 GB6–10
Muse Glimmer 30B29.6B · इंटेलिजन्स 17.52-बिट कमी गुणवत्ता9.3 GB7–13
Gemma 4 31B30.7B · इंटेलिजन्स 14.72-बिट कमी गुणवत्ता9.6 GB7–13
Granite 4.2 30B30B · इंटेलिजन्स 12.72-बिट कमी गुणवत्ता9.4 GB7–13
Qwen3.6 27B27B3-बिट कमी गुणवत्ता11.8 GB6–10
Devstral Small 2 (24B)24B3-बिट कमी गुणवत्ता10.5 GB6–11
Magistral Small 1.2 (2509)24B3-बिट कमी गुणवत्ता10.5 GB6–11
Mistral Small 3.2 (24B)24B3-बिट कमी गुणवत्ता10.5 GB6–11

जेमतेम बसतात 1

जवळजवळ सगळी मेमरी लागते: GPU मेमरीची मर्यादा वाढवा आणि कॉन्टेक्स्ट लहान ठेवा.

मॉडेलआवृत्तीमेमरीटोकन/सेकंद
gpt-oss-20b21B · 3.6B सक्रिय · इंटेलिजन्स 9नेटिव्ह 4.25-बिट13.8 GB36–63

खूप मोठी 35

18 GB पेक्षा जास्त मेमरी लागते, अगदी 2 बिटलाही.

इतर Mac

18 GB असलेला प्रत्येक Mac, कोणत्याही चिपसह.

कमी किंवा जास्त मेमरीसह M3 Pro:

जवळच्या चिप:

समोरासमोर:

त्याची तुलना कोणत्याही Mac किंवा GPU शी करा · लोकल AI साठी M3 Pro · लोकल LLM साठी सर्वोत्तम Mac · प्रत्येक Mac

प्रश्न

18 GB असलेल्या M3 Pro साठी सर्वोत्तम LLM कोणते?
ज्या मॉडेलचा Intelligence Index प्रकाशित आहे, त्यांपैकी इथे चांगल्या चालणाऱ्यांमध्ये MiniCPM5 2B चा स्कोअर सर्वात जास्त आहे: 8-बिट, सेकंदाला सुमारे 25–44 टोकन. चांगले चालणारे सर्वात मोठे मॉडेल Gemma 4 12B Unified आहे.
18 GB असलेला M3 Pro Llama 3.3 70B चालवू शकतो का?
नाही: 2 बिटलाही त्याला GPU डिफॉल्टनुसार वापरू शकतो त्या 14 GB पेक्षा जास्त लागते.
M3 Pro वर gpt-oss-20b किती वेगाने चालते?
सेकंदाला सुमारे 36–63 टोकन (नेटिव्ह 4.25-बिट), चिपच्या 150 GB/s मेमरी बँडविड्थवरून.

ही मॉडेल MLX Harness (मोफत, ओपन सोर्स) ने किंवा Terminal मध्ये Apple च्या mlx-lm ने चालवा: टप्प्याटप्प्याने.

हिशोब कसा केला

मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.

18 GB असलेला M3 Pro कोणती LLM चालवू शकतो? मॉडेल आणि वेग