लॉग इनवॉलेट तयार करा

16 GB असलेला M2 Pro काय चालवू शकतो?

त्यावर 73 पैकी 22 ओपन मॉडेल चांगली चालतात. डिफॉल्टनुसार GPU त्याच्या 16 GB पैकी सुमारे 12 GB वापरू शकतो, आणि तो 200 GB/s ने मेमरी वाचतो, त्यावरून तो किती वेगाने लिहितो ते ठरते. यात मिळतो: MacBook Pro (14-inch, 2023), MacBook Pro (16-inch, 2023), Mac mini (2023).

चांगले चालणारे सर्वात हुशारMiniCPM5 2B8-बिट · 2.7 GB · 33–59 tok/sचांगले चालणारे सर्वात मोठेPhi-4 Reasoning Vision 15B4-बिट · 8.4 GB · 11–19 tok/s

चांगली चालतात 33

कॉन्टेक्स्टसाठी जागा ठेवून बसतात, सेकंदाला 10 किंवा जास्त टोकनच्या वेगाने.

मॉडेलआवृत्तीमेमरीटोकन/सेकंद
MiniCPM5 2B2.52B · इंटेलिजन्स 12.58-बिट2.7 GB33–59
Qwen3.5 9B9B · इंटेलिजन्स 11.26-बिट7.3 GB12–22
Granite 4.2 8B8B · इंटेलिजन्स 11.18-बिट8.5 GB11–19
Granite 4.2 3B3B · इंटेलिजन्स 9.18-बिट3.2 GB28–50
Gemma 4 E4B8B · इंटेलिजन्स 8.98-बिट8.5 GB19–33
Ministral 3 8B8.9B · इंटेलिजन्स 5.56-बिट7.2 GB13–22
Nemotron 3 Nano 4B3.97B · इंटेलिजन्स 4.88-बिट4.2 GB21–38
Phi-4 Reasoning Vision 15B15B4-बिट8.4 GB11–19
Phi-4 (14B)14B4-बिट7.9 GB11–20
Gemma 4 12B Unified12B4-बिट6.7 GB13–24
Qwen3 8B8.2B8-बिट8.7 GB10–18
Llama 3.1 8B Instruct8B8-बिट8.5 GB11–19
Gemma 4 E2B5.1B8-बिट5.4 GB38–67
Qwen3.5 4B4B8-बिट4.3 GB21–37
Phi-4 mini instruct3.8B8-बिट4 GB23–40
Llama 3.2 3B Instruct3.21B8-बिट3.4 GB26–47
SmolLM3 3B3B8-बिट3.2 GB28–50
LFM2.5 2.6B2.69B8-बिट2.9 GB31–55
Qwen3.5 2B2B8-बिट2.1 GB43–76
Llama 3.2 1B Instruct1.23B8-बिट1.3 GB69–123
Qwen3.5 0.8B0.8B8-बिट0.9 GB100–178
Qwen3 0.6B0.6B8-बिट0.6 GB150–267
Qwen3.8 27B27B · इंटेलिजन्स 33.72-बिट कमी गुणवत्ता8.4 GB11–19
Muse Glimmer 30B29.6B · इंटेलिजन्स 17.52-बिट कमी गुणवत्ता9.3 GB10–17
Nemotron 3.5 Lightning 30B A3B30B · 3B सक्रिय · इंटेलिजन्स 12.92-बिट कमी गुणवत्ता9.4 GB100–178
Granite 4.2 30B30B · इंटेलिजन्स 12.72-बिट कमी गुणवत्ता9.4 GB10–17
gpt-oss-20b21B · 3.6B सक्रिय · इंटेलिजन्स 93-बिट कमी गुणवत्ता9.2 GB56–100
Nemotron 3 Nano 30B A3B30B · 3.5B सक्रिय · इंटेलिजन्स 8.92-बिट कमी गुणवत्ता9.4 GB82–145
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B सक्रिय2-बिट कमी गुणवत्ता9.5 GB90–160
GLM-4.7 Flash30B · 3B सक्रिय2-बिट कमी गुणवत्ता9.4 GB100–178
Qwen3.6 27B27B2-बिट कमी गुणवत्ता8.4 GB11–19
Gemma 4 26B A4B25.2B · 3.8B सक्रिय2-बिट कमी गुणवत्ता7.9 GB75–133
LFM2.5 24B A2B24B · 2B सक्रिय3-बिट कमी गुणवत्ता10.5 GB100–178

चालतात, पण हळू 4

बसतात, पण सेकंदाला 10 टोकनपेक्षा कमी: बॅच कामासाठी ठीक, चॅटसाठी हळू.

मॉडेलआवृत्तीमेमरीटोकन/सेकंद
Gemma 4 31B30.7B · इंटेलिजन्स 14.72-बिट कमी गुणवत्ता9.6 GB9–17
Devstral Small 2 (24B)24B3-बिट कमी गुणवत्ता10.5 GB9–15
Magistral Small 1.2 (2509)24B3-बिट कमी गुणवत्ता10.5 GB9–15
Mistral Small 3.2 (24B)24B3-बिट कमी गुणवत्ता10.5 GB9–15

जेमतेम बसतात 1

जवळजवळ सगळी मेमरी लागते: GPU मेमरीची मर्यादा वाढवा आणि कॉन्टेक्स्ट लहान ठेवा.

मॉडेलआवृत्तीमेमरीटोकन/सेकंद
Qwen3.6 35B A3B35B · 3B सक्रिय · इंटेलिजन्स 18.22-बिट कमी गुणवत्ता10.9 GB100–178

खूप मोठी 35

16 GB पेक्षा जास्त मेमरी लागते, अगदी 2 बिटलाही.

इतर Mac

16 GB असलेला प्रत्येक Mac, कोणत्याही चिपसह.

कमी किंवा जास्त मेमरीसह M2 Pro:

जवळच्या चिप:

समोरासमोर:

त्याची तुलना कोणत्याही Mac किंवा GPU शी करा · लोकल AI साठी M2 Pro · लोकल LLM साठी सर्वोत्तम Mac · प्रत्येक Mac

प्रश्न

16 GB असलेल्या M2 Pro साठी सर्वोत्तम LLM कोणते?
ज्या मॉडेलचा Intelligence Index प्रकाशित आहे, त्यांपैकी इथे चांगल्या चालणाऱ्यांमध्ये MiniCPM5 2B चा स्कोअर सर्वात जास्त आहे: 8-बिट, सेकंदाला सुमारे 33–59 टोकन. चांगले चालणारे सर्वात मोठे मॉडेल Phi-4 Reasoning Vision 15B आहे.
16 GB असलेला M2 Pro Llama 3.3 70B चालवू शकतो का?
नाही: 2 बिटलाही त्याला GPU डिफॉल्टनुसार वापरू शकतो त्या 12 GB पेक्षा जास्त लागते.
M2 Pro वर gpt-oss-20b किती वेगाने चालते?
सेकंदाला सुमारे 56–100 टोकन (3-बिट), चिपच्या 200 GB/s मेमरी बँडविड्थवरून.

ही मॉडेल MLX Harness (मोफत, ओपन सोर्स) ने किंवा Terminal मध्ये Apple च्या mlx-lm ने चालवा: टप्प्याटप्प्याने.

हिशोब कसा केला

मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.

16 GB असलेला M2 Pro कोणती LLM चालवू शकतो? मॉडेल आणि वेग