लॉग इनवॉलेट बनाएँ

लोकल AI के लिए M5 Pro वाला MacBook Pro।

M5 Pro 307 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता, इसलिए साइज़ यहीं चुनें।

24 GB28 मॉडल अच्छी तरह चलते हैंGemma 4 26B A4B · 66–117 tok/s48 GB33 मॉडल अच्छी तरह चलते हैंQwen3.6 35B A3B · 58–102 tok/s64 GB34 मॉडल अच्छी तरह चलते हैंNemotron 3.5 Bolt 74B A9B · 27–48 tok/s

मेमोरी साइज़ के हिसाब से

मेमोरीअच्छी तरह चलते हैंसबसे बड़ा, जो अच्छी तरह चलता हैgpt-oss-20b
24 GB307 GB/s28Gemma 4 26B A4B73–129 tok/s
48 GB307 GB/s33Qwen3.6 35B A3B73–129 tok/s
64 GB307 GB/s34Nemotron 3.5 Bolt 74B A9B73–129 tok/s

Mac मॉडल: MacBook Pro (14-inch, M5 Pro or M5 Max), MacBook Pro (16-inch, M5 Pro or M5 Max)। हर मेमोरी साइज़ हर Mac मॉडल में नहीं मिलता; किसके साथ क्या मिलता है, यह Apple के Tech Specs में दिया है।

सवाल

क्या M5 Pro वाला MacBook Pro लोकल LLM के लिए अच्छा है?
64 GB के साथ यह 73 में से 34 ओपन मॉडल अच्छी तरह चलाता है, Nemotron 3.5 Bolt 74B A9B तक, और gpt-oss-20b के साथ लगभग 73–129 टोकन प्रति सेकंड लिखता है। M5 Pro 307 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है।
AI के लिए M5 Pro वाले MacBook Pro में कितनी मेमोरी होनी चाहिए?
24 GB के साथ यह 28 ओपन मॉडल अच्छी तरह चलाता है; 64 GB के साथ 34, Nemotron 3.5 Bolt 74B A9B तक। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता।

दूसरे Mac

दूसरे चिप वाले MacBook Pro:

M5 Pro वाले दूसरे Mac:

आमने-सामने:

लोकल AI के लिए M5 Pro · लोकल LLM के लिए सबसे अच्छा Mac · हर Mac

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

MacBook Pro M5 Pro पर कौन-से LLM चलते हैं: मेमोरी के हिसाब से