लॉग इनवॉलेट बनाएँ

लोकल AI के लिए M5 Max वाला Mac Studio।

M5 Max 614 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता, इसलिए साइज़ यहीं चुनें।

48 GB38 मॉडल अच्छी तरह चलते हैंQwen3.6 35B A3B · 115–205 tok/s64 GB39 मॉडल अच्छी तरह चलते हैंNemotron 3.5 Bolt 74B A9B · 54–96 tok/s128 GB47 मॉडल अच्छी तरह चलते हैंQwen3.5 122B A10B · 49–88 tok/s

मेमोरी साइज़ के हिसाब से

मेमोरीअच्छी तरह चलते हैंसबसे बड़ा, जो अच्छी तरह चलता हैgpt-oss-20b
36 GB460 GB/s38Qwen3.6 35B A3B109–194 tok/s
48 GB614 GB/s38Qwen3.6 35B A3B145–259 tok/s
64 GB614 GB/s39Nemotron 3.5 Bolt 74B A9B145–259 tok/s
128 GB614 GB/s47Qwen3.5 122B A10B145–259 tok/s

Mac मॉडल: Mac Studio (M5 Max or M5 Ultra)। हर मेमोरी साइज़ हर Mac मॉडल में नहीं मिलता; किसके साथ क्या मिलता है, यह Apple के Tech Specs में दिया है।

सवाल

क्या M5 Max वाला Mac Studio लोकल LLM के लिए अच्छा है?
128 GB के साथ यह 73 में से 47 ओपन मॉडल अच्छी तरह चलाता है, Qwen3.5 122B A10B तक, और gpt-oss-20b के साथ लगभग 145–259 टोकन प्रति सेकंड लिखता है। M5 Max 614 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है।
AI के लिए M5 Max वाले Mac Studio में कितनी मेमोरी होनी चाहिए?
36 GB के साथ यह 38 ओपन मॉडल अच्छी तरह चलाता है; 128 GB के साथ 47, Qwen3.5 122B A10B तक। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता।

दूसरे Mac

दूसरे चिप वाले Mac Studio:

M5 Max वाले दूसरे Mac:

आमने-सामने:

PC और ग्राफ़िक्स कार्ड से मुक़ाबला:

लोकल AI के लिए M5 Max · लोकल LLM के लिए सबसे अच्छा Mac · हर Mac

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

Mac Studio M5 Max पर कौन-से LLM चलते हैं: मेमोरी के हिसाब से