મેમરી સાઇઝ પ્રમાણે
| મેમરી | સારાં ચાલે છે | સારું ચાલતું સૌથી મોટું | gpt-oss-20b |
|---|---|---|---|
| 24 GB307 GB/s | 28 | Gemma 4 26B A4B | 73–129 tok/s |
| 48 GB307 GB/s | 33 | Qwen3.6 35B A3B | 73–129 tok/s |
| 64 GB307 GB/s | 34 | Nemotron 3.5 Bolt 74B A9B | 73–129 tok/s |
Mac મૉડલ: Mac mini (M6 or M5 Pro). દરેક Mac મૉડલમાં દરેક મેમરી સાઇઝ મળતી નથી; કયા મૉડલ સાથે શું આવે છે તે Appleનાં Tech Specsમાં આપેલું છે.
પ્રશ્નો
- શું M5 Pro ચિપ સાથેનું Mac mini લોકલ LLM માટે સારું છે?
- 64 GB સાથે તે 73માંથી 34 ઓપન મૉડલ સારી રીતે ચલાવે છે, Nemotron 3.5 Bolt 74B A9B સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 73–129 ટોકન લખે છે. M5 Pro ચિપ 307 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.
- AI માટે M5 Pro ચિપ સાથેનું Mac mini કેટલી મેમરી સાથે લેવું?
- 24 GB સાથે તે 28 ઓપન મૉડલ સારી રીતે ચલાવે છે; 64 GB સાથે 34, Nemotron 3.5 Bolt 74B A9B સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.
બીજાં Mac
બીજી ચિપ સાથેનું Mac mini:
M5 Pro ચિપ સાથેનાં બીજાં Mac:
સામસામે:
ગણતરી કેવી રીતે થઈ
મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.