लॉग इनवॉलेट बनाएँ

लोकल AI के लिए M2 Max वाला Mac Studio।

M2 Max 400 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता, इसलिए साइज़ यहीं चुनें।

32 GB38 मॉडल अच्छी तरह चलते हैंQwen3.6 35B A3B · 106–188 tok/s64 GB39 मॉडल अच्छी तरह चलते हैंNemotron 3.5 Bolt 74B A9B · 35–63 tok/s96 GB43 मॉडल अच्छी तरह चलते हैंgpt-oss-120b · 67–119 tok/s

मेमोरी साइज़ के हिसाब से

मेमोरीअच्छी तरह चलते हैंसबसे बड़ा, जो अच्छी तरह चलता हैgpt-oss-20b
32 GB400 GB/s38Qwen3.6 35B A3B95–168 tok/s
64 GB400 GB/s39Nemotron 3.5 Bolt 74B A9B95–168 tok/s
96 GB400 GB/s43gpt-oss-120b95–168 tok/s

Mac मॉडल: Mac Studio (2023)। हर मेमोरी साइज़ हर Mac मॉडल में नहीं मिलता; किसके साथ क्या मिलता है, यह Apple के Tech Specs में दिया है।

सवाल

क्या M2 Max वाला Mac Studio लोकल LLM के लिए अच्छा है?
96 GB के साथ यह 73 में से 43 ओपन मॉडल अच्छी तरह चलाता है, gpt-oss-120b तक, और gpt-oss-20b के साथ लगभग 95–168 टोकन प्रति सेकंड लिखता है। M2 Max 400 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है।
AI के लिए M2 Max वाले Mac Studio में कितनी मेमोरी होनी चाहिए?
32 GB के साथ यह 38 ओपन मॉडल अच्छी तरह चलाता है; 96 GB के साथ 43, gpt-oss-120b तक। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता।

दूसरे Mac

दूसरे चिप वाले Mac Studio:

M2 Max वाले दूसरे Mac:

आमने-सामने:

लोकल AI के लिए M2 Max · लोकल LLM के लिए सबसे अच्छा Mac · हर Mac

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

Mac Studio M2 Max पर कौन-से LLM चलते हैं: मेमोरी के हिसाब से