क्या M5 वाला MacBook Pro लोकल LLM के लिए अच्छा है?

32 GB के साथ यह 73 में से 28 ओपन मॉडल अच्छी तरह चलाता है, Qwen3.6 35B A3B तक, और gpt-oss-20b के साथ लगभग 36–64 टोकन प्रति सेकंड लिखता है। M5 153 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है।

AI के लिए M5 वाले MacBook Pro में कितनी मेमोरी होनी चाहिए?

16 GB के साथ यह 20 ओपन मॉडल अच्छी तरह चलाता है; 32 GB के साथ 28, Qwen3.6 35B A3B तक। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता।

MacBook Pro M5 पर कौन-से LLM चलते हैं: मेमोरी के हिसाब से

मेमोरी साइज़ के हिसाब से

मेमोरी	अच्छी तरह चलते हैं	सबसे बड़ा, जो अच्छी तरह चलता है	gpt-oss-20b
16 GB153 GB/s	20	Gemma 4 12B Unified	43–77 tok/s
24 GB153 GB/s	23	Gemma 4 26B A4B	36–64 tok/s
32 GB153 GB/s	28	Qwen3.6 35B A3B	36–64 tok/s

Mac मॉडल: MacBook Pro (14-inch, M5)। हर मेमोरी साइज़ हर Mac मॉडल में नहीं मिलता; किसके साथ क्या मिलता है, यह Apple के Tech Specs में दिया है।

सवाल

क्या M5 वाला MacBook Pro लोकल LLM के लिए अच्छा है?: 32 GB के साथ यह 73 में से 28 ओपन मॉडल अच्छी तरह चलाता है, Qwen3.6 35B A3B तक, और gpt-oss-20b के साथ लगभग 36–64 टोकन प्रति सेकंड लिखता है। M5 153 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है।
AI के लिए M5 वाले MacBook Pro में कितनी मेमोरी होनी चाहिए?: 16 GB के साथ यह 20 ओपन मॉडल अच्छी तरह चलाता है; 32 GB के साथ 28, Qwen3.6 35B A3B तक। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता।

दूसरे Mac

दूसरे चिप वाले MacBook Pro:

M5 वाले दूसरे Mac:

MacBook Air M5

आमने-सामने:

लोकल AI के लिए M5 · लोकल LLM के लिए सबसे अच्छा Mac · हर Mac

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।