मेमोरी साइज़ के हिसाब से
| मेमोरी | अच्छी तरह चलते हैं | सबसे बड़ा, जो अच्छी तरह चलता है | gpt-oss-20b |
|---|---|---|---|
| 64 GB800 GB/s | 39 | Nemotron 3.5 Bolt 74B A9B | 189–337 tok/s |
| 128 GB800 GB/s | 47 | Qwen3.5 122B A10B | 189–337 tok/s |
| 192 GB800 GB/s | 49 | MiniMax M2.7 | 189–337 tok/s |
Mac मॉडल: Mac Pro (2023), Mac Pro (Rack, 2023)। हर मेमोरी साइज़ हर Mac मॉडल में नहीं मिलता; किसके साथ क्या मिलता है, यह Apple के Tech Specs में दिया है।
सवाल
- क्या M2 Ultra वाला Mac Pro लोकल LLM के लिए अच्छा है?
- 192 GB के साथ यह 73 में से 49 ओपन मॉडल अच्छी तरह चलाता है, MiniMax M2.7 तक, और gpt-oss-20b के साथ लगभग 189–337 टोकन प्रति सेकंड लिखता है। M2 Ultra 800 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है।
- AI के लिए M2 Ultra वाले Mac Pro में कितनी मेमोरी होनी चाहिए?
- 64 GB के साथ यह 39 ओपन मॉडल अच्छी तरह चलाता है; 192 GB के साथ 49, MiniMax M2.7 तक। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता।
दूसरे Mac
M2 Ultra वाले दूसरे Mac:
आमने-सामने:
लोकल AI के लिए M2 Ultra · लोकल LLM के लिए सबसे अच्छा Mac · हर Mac
हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।