मेमोरी साइज़ के हिसाब से
| मेमोरी | अच्छी तरह चलते हैं | सबसे बड़ा, जो अच्छी तरह चलता है | gpt-oss-20b |
|---|---|---|---|
| 36 GB410 GB/s | 38 | Qwen3.6 35B A3B | 97–173 tok/s |
| 48 GB546 GB/s | 38 | Qwen3.6 35B A3B | 129–230 tok/s |
| 64 GB546 GB/s | 39 | Nemotron 3.5 Bolt 74B A9B | 129–230 tok/s |
| 128 GB546 GB/s | 47 | Qwen3.5 122B A10B | 129–230 tok/s |
Mac मॉडल: MacBook Pro (14-inch, M4 Pro or M4 Max, 2024), MacBook Pro (16-inch, 2024)। हर मेमोरी साइज़ हर Mac मॉडल में नहीं मिलता; किसके साथ क्या मिलता है, यह Apple के Tech Specs में दिया है।
सवाल
- क्या M4 Max वाला MacBook Pro लोकल LLM के लिए अच्छा है?
- 128 GB के साथ यह 73 में से 47 ओपन मॉडल अच्छी तरह चलाता है, Qwen3.5 122B A10B तक, और gpt-oss-20b के साथ लगभग 129–230 टोकन प्रति सेकंड लिखता है। M4 Max 546 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है।
- AI के लिए M4 Max वाले MacBook Pro में कितनी मेमोरी होनी चाहिए?
- 36 GB के साथ यह 38 ओपन मॉडल अच्छी तरह चलाता है; 128 GB के साथ 47, Qwen3.5 122B A10B तक। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता।
दूसरे Mac
दूसरे चिप वाले MacBook Pro:
- MacBook Pro M5
- MacBook Pro M5 Pro
- MacBook Pro M5 Max
- MacBook Pro M4
- MacBook Pro M4 Pro
- MacBook Pro M3
- MacBook Pro M3 Pro
- MacBook Pro M3 Max
- MacBook Pro M2
- MacBook Pro M2 Pro
- MacBook Pro M2 Max
- MacBook Pro M1
- MacBook Pro M1 Pro
- MacBook Pro M1 Max
M4 Max वाले दूसरे Mac:
आमने-सामने:
- M1 Max vs M4 Max
- M2 Max vs M4 Max
- M2 Ultra vs M4 Max
- M3 Max vs M4 Max
- M3 Ultra vs M4 Max
- M4 Pro vs M4 Max
- M4 Max vs M5 Max
- M4 Max vs M5 Ultra
PC और ग्राफ़िक्स कार्ड से मुक़ाबला:
लोकल AI के लिए M4 Max · लोकल LLM के लिए सबसे अच्छा Mac · हर Mac
हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।