मेमोरी साइज़ के हिसाब से
| मेमोरी | अच्छी तरह चलते हैं | सबसे बड़ा, जो अच्छी तरह चलता है | gpt-oss-20b |
|---|---|---|---|
| 8 GB68 GB/s | 14 | Gemma 4 E4B | बहुत बड़ा |
| 16 GB68 GB/s | 14 | Gemma 4 E4B | 19–34 tok/s |
Mac मॉडल: MacBook Pro (13-inch, M1, 2020)। हर मेमोरी साइज़ हर Mac मॉडल में नहीं मिलता; किसके साथ क्या मिलता है, यह Apple के Tech Specs में दिया है।
सवाल
- क्या M1 वाला MacBook Pro लोकल LLM के लिए अच्छा है?
- 16 GB के साथ यह 73 में से 14 ओपन मॉडल अच्छी तरह चलाता है, Gemma 4 E4B तक, और gpt-oss-20b के साथ लगभग 19–34 टोकन प्रति सेकंड लिखता है। M1 68 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है।
- AI के लिए M1 वाले MacBook Pro में कितनी मेमोरी होनी चाहिए?
- 8 GB के साथ यह 14 ओपन मॉडल अच्छी तरह चलाता है; 16 GB के साथ 14, Gemma 4 E4B तक। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता।
दूसरे Mac
दूसरे चिप वाले MacBook Pro:
- MacBook Pro M5
- MacBook Pro M5 Pro
- MacBook Pro M5 Max
- MacBook Pro M4
- MacBook Pro M4 Pro
- MacBook Pro M4 Max
- MacBook Pro M3
- MacBook Pro M3 Pro
- MacBook Pro M3 Max
- MacBook Pro M2
- MacBook Pro M2 Pro
- MacBook Pro M2 Max
- MacBook Pro M1 Pro
- MacBook Pro M1 Max
M1 वाले दूसरे Mac:
आमने-सामने:
हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।