8 GB Mac के लिए सबसे अच्छे LLM।

8 GB में 73 में से 16 ओपन मॉडल अच्छी तरह चलते हैं। डिफ़ॉल्ट रूप से GPU इसमें से लगभग 6 GB इस्तेमाल कर सकता है। स्पीड चिप पर निर्भर करती है: M1 पर 68 GB/s से M2 पर 100 GB/s तक।

सबसे स्मार्ट, जो अच्छी तरह चलता हैMiniCPM5 2B8-बिट · 2.7 GB · 11–30 tok/sसबसे बड़ा, जो अच्छी तरह चलता हैGranite 4.2 8B4-बिट · 4.5 GB · 7–18 tok/s

8 GB वाले Mac

M1 से M3 की 3 चिप 8 GB के साथ आती हैं। उसकी अपनी सूची और स्पीड देखने के लिए कोई भी चिप खोलें।

अच्छी तरह चलते हैं 21

कॉन्टेक्स्ट के लिए जगह के साथ फ़िट होते हैं, M2 पर 10 या ज़्यादा टोकन प्रति सेकंड।

मॉडलवर्ज़नमेमोरीM1M2
MiniCPM5 2B2.52B · इंटेलिजेंस 12.58-बिट2.7 GB11–2017–30
Granite 4.2 8B8B · इंटेलिजेंस 11.14-बिट4.5 GB7–1210–18
Granite 4.2 3B3B · इंटेलिजेंस 9.18-बिट3.2 GB10–1714–25
Gemma 4 E4B8B · इंटेलिजेंस 8.94-बिट4.5 GB12–2218–32
Nemotron 3 Nano 4B3.97B · इंटेलिजेंस 4.88-बिट4.2 GB10–1711–19
Llama 3.1 8B Instruct8B4-बिट4.5 GB7–1210–18
Gemma 4 E2B5.1B6-बिट4.1 GB16–2924–42
Qwen3.5 4B4B8-बिट4.3 GB13–2410–19
Phi-4 mini instruct3.8B8-बिट4 GB10–1811–20
Llama 3.2 3B Instruct3.21B8-बिट3.4 GB12–2113–24
SmolLM3 3B3B8-बिट3.2 GB10–1714–25
LFM2.5 2.6B2.69B8-बिट2.9 GB11–1916–28
Qwen3.5 2B2B8-बिट2.1 GB15–2621–38
Llama 3.2 1B Instruct1.23B8-बिट1.3 GB24–4235–62
Qwen3.5 0.8B0.8B8-बिट0.9 GB34–6050–89
Qwen3 0.6B0.6B8-बिट0.6 GB51–9175–133
Qwen3.5 9B9B · इंटेलिजेंस 11.23-बिट कम क्वालिटी3.9 GB8–1412–21
Ministral 3 8B8.9B · इंटेलिजेंस 5.53-बिट कम क्वालिटी3.9 GB8–1412–21
Phi-4 (14B)14B2-बिट कम क्वालिटी4.4 GB7–1210–18
Gemma 4 12B Unified12B2-बिट कम क्वालिटी3.7 GB8–1512–22
Qwen3 8B8.2B3-बिट कम क्वालिटी3.6 GB9–1513–22

मुश्किल से फ़िट होते हैं 1

लगभग पूरी मेमोरी चाहिए: GPU मेमोरी की सीमा बढ़ाएँ और कॉन्टेक्स्ट छोटा रखें।

मॉडलवर्ज़नमेमोरीM1M2
Phi-4 Reasoning Vision 15B15B2-बिट कम क्वालिटी4.7 GB7–1210–17

बहुत बड़े 51

8 GB से ज़्यादा मेमोरी चाहिए, 2 बिट पर भी।

सवाल

8 GB वाले Mac के लिए सबसे अच्छा LLM कौन-सा है?
जिन मॉडलों का Intelligence Index प्रकाशित है, उनमें से 8 GB में अच्छी तरह चलने वालों में MiniCPM5 2B का स्कोर सबसे ऊँचा है (8-बिट)। अच्छी तरह चलने वाला सबसे बड़ा मॉडल Granite 4.2 8B है।
क्या Mac पर लोकल AI के लिए 8 GB काफ़ी है?
यहाँ के 73 ओपन मॉडल में से 16 इसमें 4 बिट या उससे बेहतर पर अच्छी तरह चलते हैं। डिफ़ॉल्ट रूप से macOS GPU को इसमें से लगभग 6 GB इस्तेमाल करने देता है; मॉडल और उसका कॉन्टेक्स्ट उसी में फ़िट होने चाहिए।
क्या 8 GB Mac पर gpt-oss-20b चल सकता है?
नहीं: इसे उन 6 GB से ज़्यादा चाहिए जो GPU डिफ़ॉल्ट रूप से इस्तेमाल कर सकता है।

दूसरे साइज़: 8 GB · 16 GB · 18 GB · 24 GB · 32 GB · 36 GB · 48 GB · 64 GB · 96 GB · 128 GB · 192 GB · 256 GB · 512 GB

इन्हें MLX Harness (मुफ़्त, ओपन सोर्स) से या Terminal में Apple के mlx-lm से चलाएँ: स्टेप बाय स्टेप।

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

8 GB Mac के लिए सबसे अच्छे लोकल LLM (M1 से M3): क्या चलता है