मेमोरी साइज़ के हिसाब से
| मेमोरी | अच्छी तरह चलते हैं | सबसे बड़ा, जो अच्छी तरह चलता है | gpt-oss-20b |
|---|---|---|---|
| 36 GB410 GB/s | 38 | Qwen3.6 35B A3B | 97–173 tok/s |
| 48 GB546 GB/s | 38 | Qwen3.6 35B A3B | 129–230 tok/s |
| 64 GB546 GB/s | 39 | Nemotron 3.5 Bolt 74B A9B | 129–230 tok/s |
| 128 GB546 GB/s | 47 | Qwen3.5 122B A10B | 129–230 tok/s |
Mac मॉडल: Mac Studio (2025)। हर मेमोरी साइज़ हर Mac मॉडल में नहीं मिलता; किसके साथ क्या मिलता है, यह Apple के Tech Specs में दिया है।
सवाल
- क्या M4 Max वाला Mac Studio लोकल LLM के लिए अच्छा है?
- 128 GB के साथ यह 73 में से 47 ओपन मॉडल अच्छी तरह चलाता है, Qwen3.5 122B A10B तक, और gpt-oss-20b के साथ लगभग 129–230 टोकन प्रति सेकंड लिखता है। M4 Max 546 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है।
- AI के लिए M4 Max वाले Mac Studio में कितनी मेमोरी होनी चाहिए?
- 36 GB के साथ यह 38 ओपन मॉडल अच्छी तरह चलाता है; 128 GB के साथ 47, Qwen3.5 122B A10B तक। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता।
दूसरे Mac
दूसरे चिप वाले Mac Studio:
- Mac Studio M5 Max
- Mac Studio M5 Ultra
- Mac Studio M3 Ultra
- Mac Studio M2 Max
- Mac Studio M2 Ultra
- Mac Studio M1 Max
- Mac Studio M1 Ultra
M4 Max वाले दूसरे Mac:
आमने-सामने:
- M1 Max vs M4 Max
- M2 Max vs M4 Max
- M2 Ultra vs M4 Max
- M3 Max vs M4 Max
- M3 Ultra vs M4 Max
- M4 Pro vs M4 Max
- M4 Max vs M5 Max
- M4 Max vs M5 Ultra
PC और ग्राफ़िक्स कार्ड से मुक़ाबला:
लोकल AI के लिए M4 Max · लोकल LLM के लिए सबसे अच्छा Mac · हर Mac
हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।