लॉग इनवॉलेट बनाएँ

लोकल AI के लिए M3 Ultra वाला Mac Studio।

M3 Ultra 819 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता, इसलिए साइज़ यहीं चुनें।

96 GB43 मॉडल अच्छी तरह चलते हैंgpt-oss-120b · 137–243 tok/s256 GB53 मॉडल अच्छी तरह चलते हैंMiMo V2.6 Flash · 44–78 tok/s512 GB60 मॉडल अच्छी तरह चलते हैंDeepSeek V4.1 Flash 1017 · 41–73 tok/s

मेमोरी साइज़ के हिसाब से

मेमोरीअच्छी तरह चलते हैंसबसे बड़ा, जो अच्छी तरह चलता हैgpt-oss-20b
96 GB819 GB/s43gpt-oss-120b194–345 tok/s
256 GB819 GB/s53MiMo V2.6 Flash194–345 tok/s
512 GB819 GB/s60DeepSeek V4.1 Flash 1017194–345 tok/s

Mac मॉडल: Mac Studio (2025)। हर मेमोरी साइज़ हर Mac मॉडल में नहीं मिलता; किसके साथ क्या मिलता है, यह Apple के Tech Specs में दिया है।

सवाल

क्या M3 Ultra वाला Mac Studio लोकल LLM के लिए अच्छा है?
512 GB के साथ यह 73 में से 60 ओपन मॉडल अच्छी तरह चलाता है, DeepSeek V4.1 Flash 1017 तक, और gpt-oss-20b के साथ लगभग 194–345 टोकन प्रति सेकंड लिखता है। M3 Ultra 819 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है।
AI के लिए M3 Ultra वाले Mac Studio में कितनी मेमोरी होनी चाहिए?
96 GB के साथ यह 43 ओपन मॉडल अच्छी तरह चलाता है; 512 GB के साथ 60, DeepSeek V4.1 Flash 1017 तक। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता।

दूसरे Mac

दूसरे चिप वाले Mac Studio:

आमने-सामने:

PC और ग्राफ़िक्स कार्ड से मुक़ाबला:

लोकल AI के लिए M3 Ultra · लोकल LLM के लिए सबसे अच्छा Mac · हर Mac

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

Mac Studio M3 Ultra पर कौन-से LLM चलते हैं: मेमोरी के हिसाब से