मेमोरी साइज़ के हिसाब से
| मेमोरी | अच्छी तरह चलते हैं | सबसे बड़ा, जो अच्छी तरह चलता है | gpt-oss-20b |
|---|---|---|---|
| 24 GB307 GB/s | 28 | Gemma 4 26B A4B | 73–129 tok/s |
| 48 GB307 GB/s | 33 | Qwen3.6 35B A3B | 73–129 tok/s |
| 64 GB307 GB/s | 34 | Nemotron 3.5 Bolt 74B A9B | 73–129 tok/s |
Mac मॉडल: Mac mini (M6 or M5 Pro)। हर मेमोरी साइज़ हर Mac मॉडल में नहीं मिलता; किसके साथ क्या मिलता है, यह Apple के Tech Specs में दिया है।
सवाल
- क्या M5 Pro वाला Mac mini लोकल LLM के लिए अच्छा है?
- 64 GB के साथ यह 73 में से 34 ओपन मॉडल अच्छी तरह चलाता है, Nemotron 3.5 Bolt 74B A9B तक, और gpt-oss-20b के साथ लगभग 73–129 टोकन प्रति सेकंड लिखता है। M5 Pro 307 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है।
- AI के लिए M5 Pro वाले Mac mini में कितनी मेमोरी होनी चाहिए?
- 24 GB के साथ यह 28 ओपन मॉडल अच्छी तरह चलाता है; 64 GB के साथ 34, Nemotron 3.5 Bolt 74B A9B तक। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता।
दूसरे Mac
दूसरे चिप वाले Mac mini:
M5 Pro वाले दूसरे Mac:
आमने-सामने:
लोकल AI के लिए M5 Pro · लोकल LLM के लिए सबसे अच्छा Mac · हर Mac
हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।