लॉग इनवॉलेट बनाएँ

लोकल AI के लिए M2 Ultra वाला Mac Studio।

M2 Ultra 800 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता, इसलिए साइज़ यहीं चुनें।

64 GB39 मॉडल अच्छी तरह चलते हैंNemotron 3.5 Bolt 74B A9B · 71–125 tok/s128 GB47 मॉडल अच्छी तरह चलते हैंQwen3.5 122B A10B · 64–114 tok/s192 GB49 मॉडल अच्छी तरह चलते हैंMiniMax M2.7 · 64–114 tok/s

मेमोरी साइज़ के हिसाब से

मेमोरीअच्छी तरह चलते हैंसबसे बड़ा, जो अच्छी तरह चलता हैgpt-oss-20b
64 GB800 GB/s39Nemotron 3.5 Bolt 74B A9B189–337 tok/s
128 GB800 GB/s47Qwen3.5 122B A10B189–337 tok/s
192 GB800 GB/s49MiniMax M2.7189–337 tok/s

Mac मॉडल: Mac Studio (2023)। हर मेमोरी साइज़ हर Mac मॉडल में नहीं मिलता; किसके साथ क्या मिलता है, यह Apple के Tech Specs में दिया है।

सवाल

क्या M2 Ultra वाला Mac Studio लोकल LLM के लिए अच्छा है?
192 GB के साथ यह 73 में से 49 ओपन मॉडल अच्छी तरह चलाता है, MiniMax M2.7 तक, और gpt-oss-20b के साथ लगभग 189–337 टोकन प्रति सेकंड लिखता है। M2 Ultra 800 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है।
AI के लिए M2 Ultra वाले Mac Studio में कितनी मेमोरी होनी चाहिए?
64 GB के साथ यह 39 ओपन मॉडल अच्छी तरह चलाता है; 192 GB के साथ 49, MiniMax M2.7 तक। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता।

दूसरे Mac

दूसरे चिप वाले Mac Studio:

M2 Ultra वाले दूसरे Mac:

आमने-सामने:

लोकल AI के लिए M2 Ultra · लोकल LLM के लिए सबसे अच्छा Mac · हर Mac

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

Mac Studio M2 Ultra पर कौन-से LLM चलते हैं: मेमोरी के हिसाब से