लॉग इनवॉलेट बनाएँ

16 GB वाला M1 Pro क्या चला सकता है?

इस पर 73 में से 22 ओपन मॉडल अच्छी तरह चलते हैं। डिफ़ॉल्ट रूप से GPU इसकी 16 GB में से लगभग 12 GB इस्तेमाल कर सकता है, और यह 200 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है। इनमें मिलता है: MacBook Pro (14-inch, 2021), MacBook Pro (16-inch, 2021)।

सबसे स्मार्ट, जो अच्छी तरह चलता हैMiniCPM5 2B8-बिट · 2.7 GB · 33–59 tok/sसबसे बड़ा, जो अच्छी तरह चलता हैPhi-4 Reasoning Vision 15B4-बिट · 8.4 GB · 11–19 tok/s

अच्छी तरह चलते हैं 33

कॉन्टेक्स्ट के लिए जगह के साथ फ़िट होते हैं, 10 या ज़्यादा टोकन प्रति सेकंड पर।

मॉडलवर्ज़नमेमोरीटोकन/सेकंड
MiniCPM5 2B2.52B · इंटेलिजेंस 12.58-बिट2.7 GB33–59
Qwen3.5 9B9B · इंटेलिजेंस 11.26-बिट7.3 GB12–22
Granite 4.2 8B8B · इंटेलिजेंस 11.18-बिट8.5 GB11–19
Granite 4.2 3B3B · इंटेलिजेंस 9.18-बिट3.2 GB28–50
Gemma 4 E4B8B · इंटेलिजेंस 8.98-बिट8.5 GB19–33
Ministral 3 8B8.9B · इंटेलिजेंस 5.56-बिट7.2 GB13–22
Nemotron 3 Nano 4B3.97B · इंटेलिजेंस 4.88-बिट4.2 GB21–38
Phi-4 Reasoning Vision 15B15B4-बिट8.4 GB11–19
Phi-4 (14B)14B4-बिट7.9 GB11–20
Gemma 4 12B Unified12B4-बिट6.7 GB13–24
Qwen3 8B8.2B8-बिट8.7 GB10–18
Llama 3.1 8B Instruct8B8-बिट8.5 GB11–19
Gemma 4 E2B5.1B8-बिट5.4 GB38–67
Qwen3.5 4B4B8-बिट4.3 GB21–37
Phi-4 mini instruct3.8B8-बिट4 GB23–40
Llama 3.2 3B Instruct3.21B8-बिट3.4 GB26–47
SmolLM3 3B3B8-बिट3.2 GB28–50
LFM2.5 2.6B2.69B8-बिट2.9 GB31–55
Qwen3.5 2B2B8-बिट2.1 GB43–76
Llama 3.2 1B Instruct1.23B8-बिट1.3 GB69–123
Qwen3.5 0.8B0.8B8-बिट0.9 GB100–178
Qwen3 0.6B0.6B8-बिट0.6 GB150–267
Qwen3.8 27B27B · इंटेलिजेंस 33.72-बिट कम क्वालिटी8.4 GB11–19
Muse Glimmer 30B29.6B · इंटेलिजेंस 17.52-बिट कम क्वालिटी9.3 GB10–17
Nemotron 3.5 Lightning 30B A3B30B · 3B सक्रिय · इंटेलिजेंस 12.92-बिट कम क्वालिटी9.4 GB100–178
Granite 4.2 30B30B · इंटेलिजेंस 12.72-बिट कम क्वालिटी9.4 GB10–17
gpt-oss-20b21B · 3.6B सक्रिय · इंटेलिजेंस 93-बिट कम क्वालिटी9.2 GB56–100
Nemotron 3 Nano 30B A3B30B · 3.5B सक्रिय · इंटेलिजेंस 8.92-बिट कम क्वालिटी9.4 GB82–145
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B सक्रिय2-बिट कम क्वालिटी9.5 GB90–160
GLM-4.7 Flash30B · 3B सक्रिय2-बिट कम क्वालिटी9.4 GB100–178
Qwen3.6 27B27B2-बिट कम क्वालिटी8.4 GB11–19
Gemma 4 26B A4B25.2B · 3.8B सक्रिय2-बिट कम क्वालिटी7.9 GB75–133
LFM2.5 24B A2B24B · 2B सक्रिय3-बिट कम क्वालिटी10.5 GB100–178

चलते हैं, पर धीरे 4

फ़िट होते हैं, पर 10 टोकन प्रति सेकंड से कम: बैच काम के लिए ठीक, चैट के लिए धीमे।

मॉडलवर्ज़नमेमोरीटोकन/सेकंड
Gemma 4 31B30.7B · इंटेलिजेंस 14.72-बिट कम क्वालिटी9.6 GB9–17
Devstral Small 2 (24B)24B3-बिट कम क्वालिटी10.5 GB9–15
Magistral Small 1.2 (2509)24B3-बिट कम क्वालिटी10.5 GB9–15
Mistral Small 3.2 (24B)24B3-बिट कम क्वालिटी10.5 GB9–15

मुश्किल से फ़िट होते हैं 1

लगभग पूरी मेमोरी चाहिए: GPU मेमोरी की सीमा बढ़ाएँ और कॉन्टेक्स्ट छोटा रखें।

मॉडलवर्ज़नमेमोरीटोकन/सेकंड
Qwen3.6 35B A3B35B · 3B सक्रिय · इंटेलिजेंस 18.22-बिट कम क्वालिटी10.9 GB100–178

बहुत बड़े 35

16 GB से ज़्यादा मेमोरी चाहिए, 2 बिट पर भी।

दूसरे Mac

16 GB वाला हर Mac, किसी भी चिप के साथ।

कम या ज़्यादा मेमोरी वाला M1 Pro:

आस-पास की चिप:

आमने-सामने:

इसकी तुलना किसी भी Mac या GPU से करें · लोकल AI के लिए M1 Pro · लोकल LLM के लिए सबसे अच्छा Mac · हर Mac

सवाल

16 GB वाले M1 Pro के लिए सबसे अच्छा LLM कौन-सा है?
जिन मॉडलों का Intelligence Index प्रकाशित है, उनमें से यहाँ अच्छी तरह चलने वालों में MiniCPM5 2B का स्कोर सबसे ऊँचा है: 8-बिट, लगभग 33–59 टोकन प्रति सेकंड। अच्छी तरह चलने वाला सबसे बड़ा मॉडल Phi-4 Reasoning Vision 15B है।
क्या 16 GB वाला M1 Pro Llama 3.3 70B चला सकता है?
नहीं: 2 बिट पर भी इसे उन 12 GB से ज़्यादा चाहिए जो GPU डिफ़ॉल्ट रूप से इस्तेमाल कर सकता है।
M1 Pro पर gpt-oss-20b कितना तेज़ चलता है?
लगभग 56–100 टोकन प्रति सेकंड (3-बिट), चिप की 200 GB/s मेमोरी बैंडविड्थ के आधार पर।

इन्हें MLX Harness (मुफ़्त, ओपन सोर्स) से या Terminal में Apple के mlx-lm से चलाएँ: स्टेप बाय स्टेप।

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

16 GB वाला M1 Pro कौन-से LLM चला सकता है? मॉडल और स्पीड