मेमोरी साइज़ के हिसाब से
| मेमोरी | अच्छी तरह चलते हैं | सबसे बड़ा, जो अच्छी तरह चलता है | gpt-oss-20b |
|---|---|---|---|
| 8 GB100 GB/s | 16 | Granite 4.2 8B | बहुत बड़ा |
| 16 GB100 GB/s | 17 | Qwen3 8B | 28–50 tok/s |
| 24 GB100 GB/s | 20 | Gemma 4 26B A4B | 24–42 tok/s |
Mac मॉडल: Mac mini (2023)। हर मेमोरी साइज़ हर Mac मॉडल में नहीं मिलता; किसके साथ क्या मिलता है, यह Apple के Tech Specs में दिया है।
सवाल
- क्या M2 वाला Mac mini लोकल LLM के लिए अच्छा है?
- 24 GB के साथ यह 73 में से 20 ओपन मॉडल अच्छी तरह चलाता है, Gemma 4 26B A4B तक, और gpt-oss-20b के साथ लगभग 24–42 टोकन प्रति सेकंड लिखता है। M2 100 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है।
- AI के लिए M2 वाले Mac mini में कितनी मेमोरी होनी चाहिए?
- 8 GB के साथ यह 16 ओपन मॉडल अच्छी तरह चलाता है; 24 GB के साथ 20, Gemma 4 26B A4B तक। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता।
दूसरे Mac
दूसरे चिप वाले Mac mini:
M2 वाले दूसरे Mac:
आमने-सामने:
हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।