लॉग इनवॉलेट बनाएँ

8 GB वाला M1 क्या चला सकता है?

इस पर 73 में से 14 ओपन मॉडल अच्छी तरह चलते हैं। डिफ़ॉल्ट रूप से GPU इसकी 8 GB में से लगभग 6 GB इस्तेमाल कर सकता है, और यह 68 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है। इनमें मिलता है: MacBook Air (M1, 2020), MacBook Pro (13-inch, M1, 2020), Mac mini (M1, 2020), iMac (24-inch, M1, 2021)।

सबसे स्मार्ट, जो अच्छी तरह चलता हैMiniCPM5 2B8-बिट · 2.7 GB · 11–20 tok/sसबसे बड़ा, जो अच्छी तरह चलता हैGemma 4 E4B4-बिट · 4.5 GB · 12–22 tok/s

अच्छी तरह चलते हैं 14

कॉन्टेक्स्ट के लिए जगह के साथ फ़िट होते हैं, 10 या ज़्यादा टोकन प्रति सेकंड पर।

मॉडलवर्ज़नमेमोरीटोकन/सेकंड
MiniCPM5 2B2.52B · इंटेलिजेंस 12.58-बिट2.7 GB11–20
Granite 4.2 3B3B · इंटेलिजेंस 9.18-बिट3.2 GB10–17
Gemma 4 E4B8B · इंटेलिजेंस 8.94-बिट4.5 GB12–22
Nemotron 3 Nano 4B3.97B · इंटेलिजेंस 4.86-बिट3.2 GB10–17
Gemma 4 E2B5.1B6-बिट4.1 GB16–29
Qwen3.5 4B4B4-बिट2.3 GB13–24
Phi-4 mini instruct3.8B6-बिट3.1 GB10–18
Llama 3.2 3B Instruct3.21B6-बिट2.6 GB12–21
SmolLM3 3B3B8-बिट3.2 GB10–17
LFM2.5 2.6B2.69B8-बिट2.9 GB11–19
Qwen3.5 2B2B8-बिट2.1 GB15–26
Llama 3.2 1B Instruct1.23B8-बिट1.3 GB24–42
Qwen3.5 0.8B0.8B8-बिट0.9 GB34–60
Qwen3 0.6B0.6B8-बिट0.6 GB51–91

चलते हैं, पर धीरे 7

फ़िट होते हैं, पर 10 टोकन प्रति सेकंड से कम: बैच काम के लिए ठीक, चैट के लिए धीमे।

मॉडलवर्ज़नमेमोरीटोकन/सेकंड
Granite 4.2 8B8B · इंटेलिजेंस 11.14-बिट4.5 GB7–12
Llama 3.1 8B Instruct8B4-बिट4.5 GB7–12
Qwen3.5 9B9B · इंटेलिजेंस 11.23-बिट कम क्वालिटी3.9 GB8–14
Ministral 3 8B8.9B · इंटेलिजेंस 5.53-बिट कम क्वालिटी3.9 GB8–14
Phi-4 (14B)14B2-बिट कम क्वालिटी4.4 GB7–12
Gemma 4 12B Unified12B2-बिट कम क्वालिटी3.7 GB8–15
Qwen3 8B8.2B3-बिट कम क्वालिटी3.6 GB9–15

मुश्किल से फ़िट होते हैं 1

लगभग पूरी मेमोरी चाहिए: GPU मेमोरी की सीमा बढ़ाएँ और कॉन्टेक्स्ट छोटा रखें।

मॉडलवर्ज़नमेमोरीटोकन/सेकंड
Phi-4 Reasoning Vision 15B15B2-बिट कम क्वालिटी4.7 GB7–12

बहुत बड़े 51

8 GB से ज़्यादा मेमोरी चाहिए, 2 बिट पर भी।

दूसरे Mac

8 GB वाला हर Mac, किसी भी चिप के साथ।

कम या ज़्यादा मेमोरी वाला M1:

आस-पास की चिप:

आमने-सामने:

इसकी तुलना किसी भी Mac या GPU से करें · लोकल AI के लिए M1 · लोकल LLM के लिए सबसे अच्छा Mac · हर Mac

सवाल

8 GB वाले M1 के लिए सबसे अच्छा LLM कौन-सा है?
जिन मॉडलों का Intelligence Index प्रकाशित है, उनमें से यहाँ अच्छी तरह चलने वालों में MiniCPM5 2B का स्कोर सबसे ऊँचा है: 8-बिट, लगभग 11–20 टोकन प्रति सेकंड। अच्छी तरह चलने वाला सबसे बड़ा मॉडल Gemma 4 E4B है।
क्या 8 GB वाला M1 Llama 3.3 70B चला सकता है?
नहीं: 2 बिट पर भी इसे उन 6 GB से ज़्यादा चाहिए जो GPU डिफ़ॉल्ट रूप से इस्तेमाल कर सकता है।
M1 पर gpt-oss-20b कितना तेज़ चलता है?
यह 8 GB में फ़िट नहीं होता।

इन्हें MLX Harness (मुफ़्त, ओपन सोर्स) से या Terminal में Apple के mlx-lm से चलाएँ: स्टेप बाय स्टेप।

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

8 GB वाला M1 कौन-से LLM चला सकता है? मॉडल और स्पीड