मेमोरी साइज़ के हिसाब से
| मेमोरी | अच्छी तरह चलते हैं | सबसे बड़ा, जो अच्छी तरह चलता है | gpt-oss-20b |
|---|---|---|---|
| 16 GB200 GB/s | 22 | Phi-4 Reasoning Vision 15B | 56–100 tok/s |
| 32 GB200 GB/s | 30 | Qwen3.6 35B A3B | 47–84 tok/s |
Mac मॉडल: Mac mini (2023)। हर मेमोरी साइज़ हर Mac मॉडल में नहीं मिलता; किसके साथ क्या मिलता है, यह Apple के Tech Specs में दिया है।
सवाल
- क्या M2 Pro वाला Mac mini लोकल LLM के लिए अच्छा है?
- 32 GB के साथ यह 73 में से 30 ओपन मॉडल अच्छी तरह चलाता है, Qwen3.6 35B A3B तक, और gpt-oss-20b के साथ लगभग 47–84 टोकन प्रति सेकंड लिखता है। M2 Pro 200 GB/s पर मेमोरी पढ़ता है, जिससे तय होता है कि यह कितनी तेज़ी से लिखता है।
- AI के लिए M2 Pro वाले Mac mini में कितनी मेमोरी होनी चाहिए?
- 16 GB के साथ यह 22 ओपन मॉडल अच्छी तरह चलाता है; 32 GB के साथ 30, Qwen3.6 35B A3B तक। कौन-से मॉडल फ़िट होंगे, यह मेमोरी तय करती है, और इसे बाद में अपग्रेड नहीं किया जा सकता।
दूसरे Mac
दूसरे चिप वाले Mac mini:
M2 Pro वाले दूसरे Mac:
आमने-सामने:
लोकल AI के लिए M2 Pro · लोकल LLM के लिए सबसे अच्छा Mac · हर Mac
हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।