क्या M5 Ultra वाला Mac Studio लोकल LLM के लिए अच्छा है?

512 GB के साथ यह 73 में से 61 ओपन मॉडल अच्छी तरह चलाता है, DeepSeek V4.1 Flash 1017 तक, और gpt-oss-20b के साथ लगभग 284–505 टोकन प्रति सेकंड लिखता है। M5 Ultra 1,200 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है।

AI के लिए M5 Ultra वाले Mac Studio में कितनी मेमोरी होनी चाहिए?

96 GB के साथ यह 44 ओपन मॉडल अच्छी तरह चलाता है; 512 GB के साथ 61, DeepSeek V4.1 Flash 1017 तक। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता।

Mac Studio M5 Ultra पर कौन-से LLM चलते हैं: मेमोरी के हिसाब से

मेमोरी साइज़ के हिसाब से

मेमोरी	अच्छी तरह चलते हैं	सबसे बड़ा, जो अच्छी तरह चलता है	gpt-oss-20b
96 GB1,200 GB/s	44	gpt-oss-120b	284–505 tok/s
256 GB1,200 GB/s	54	MiMo V2.6 Flash	284–505 tok/s
512 GB1,200 GB/s	61	DeepSeek V4.1 Flash 1017	284–505 tok/s

Mac मॉडल: Mac Studio (M5 Max or M5 Ultra)। हर मेमोरी साइज़ हर Mac मॉडल में नहीं मिलता; किसके साथ क्या मिलता है, यह Apple के Tech Specs में दिया है।

सवाल

क्या M5 Ultra वाला Mac Studio लोकल LLM के लिए अच्छा है?: 512 GB के साथ यह 73 में से 61 ओपन मॉडल अच्छी तरह चलाता है, DeepSeek V4.1 Flash 1017 तक, और gpt-oss-20b के साथ लगभग 284–505 टोकन प्रति सेकंड लिखता है। M5 Ultra 1,200 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है।
AI के लिए M5 Ultra वाले Mac Studio में कितनी मेमोरी होनी चाहिए?: 96 GB के साथ यह 44 ओपन मॉडल अच्छी तरह चलाता है; 512 GB के साथ 61, DeepSeek V4.1 Flash 1017 तक। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता।

दूसरे Mac

दूसरे चिप वाले Mac Studio:

आमने-सामने:

PC और ग्राफ़िक्स कार्ड से मुक़ाबला:

लोकल AI के लिए M5 Ultra · लोकल LLM के लिए सबसे अच्छा Mac · हर Mac

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।