क्या M1 Ultra वाला Mac Studio लोकल LLM के लिए अच्छा है?

128 GB के साथ यह 73 में से 47 ओपन मॉडल अच्छी तरह चलाता है, Qwen3.5 122B A10B तक, और gpt-oss-20b के साथ लगभग 189–337 टोकन प्रति सेकंड लिखता है। M1 Ultra 800 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है।

AI के लिए M1 Ultra वाले Mac Studio में कितनी मेमोरी होनी चाहिए?

64 GB के साथ यह 39 ओपन मॉडल अच्छी तरह चलाता है; 128 GB के साथ 47, Qwen3.5 122B A10B तक। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता।

Mac Studio M1 Ultra पर कौन-से LLM चलते हैं: मेमोरी के हिसाब से

मेमोरी साइज़ के हिसाब से

मेमोरी	अच्छी तरह चलते हैं	सबसे बड़ा, जो अच्छी तरह चलता है	gpt-oss-20b
64 GB800 GB/s	39	Nemotron 3.5 Bolt 74B A9B	189–337 tok/s
128 GB800 GB/s	47	Qwen3.5 122B A10B	189–337 tok/s

Mac मॉडल: Mac Studio (2022)। हर मेमोरी साइज़ हर Mac मॉडल में नहीं मिलता; किसके साथ क्या मिलता है, यह Apple के Tech Specs में दिया है।

सवाल

क्या M1 Ultra वाला Mac Studio लोकल LLM के लिए अच्छा है?: 128 GB के साथ यह 73 में से 47 ओपन मॉडल अच्छी तरह चलाता है, Qwen3.5 122B A10B तक, और gpt-oss-20b के साथ लगभग 189–337 टोकन प्रति सेकंड लिखता है। M1 Ultra 800 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है।
AI के लिए M1 Ultra वाले Mac Studio में कितनी मेमोरी होनी चाहिए?: 64 GB के साथ यह 39 ओपन मॉडल अच्छी तरह चलाता है; 128 GB के साथ 47, Qwen3.5 122B A10B तक। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता।

दूसरे Mac

दूसरे चिप वाले Mac Studio:

आमने-सामने:

लोकल AI के लिए M1 Ultra · लोकल LLM के लिए सबसे अच्छा Mac · हर Mac

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।