શું M2 Pro ચિપ સાથેનું Mac mini લોકલ LLM માટે સારું છે?

32 GB સાથે તે 73માંથી 30 ઓપન મૉડલ સારી રીતે ચલાવે છે, Qwen3.6 35B A3B સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 47–84 ટોકન લખે છે. M2 Pro ચિપ 200 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.

AI માટે M2 Pro ચિપ સાથેનું Mac mini કેટલી મેમરી સાથે લેવું?

16 GB સાથે તે 22 ઓપન મૉડલ સારી રીતે ચલાવે છે; 32 GB સાથે 30, Qwen3.6 35B A3B સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

Mac mini M2 Pro પર કયાં LLM ચાલે: મેમરી પ્રમાણે

મેમરી સાઇઝ પ્રમાણે

મેમરી	સારાં ચાલે છે	સારું ચાલતું સૌથી મોટું	gpt-oss-20b
16 GB200 GB/s	22	Phi-4 Reasoning Vision 15B	56–100 tok/s
32 GB200 GB/s	30	Qwen3.6 35B A3B	47–84 tok/s

Mac મૉડલ: Mac mini (2023). દરેક Mac મૉડલમાં દરેક મેમરી સાઇઝ મળતી નથી; કયા મૉડલ સાથે શું આવે છે તે Appleનાં Tech Specsમાં આપેલું છે.

પ્રશ્નો

શું M2 Pro ચિપ સાથેનું Mac mini લોકલ LLM માટે સારું છે?: 32 GB સાથે તે 73માંથી 30 ઓપન મૉડલ સારી રીતે ચલાવે છે, Qwen3.6 35B A3B સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 47–84 ટોકન લખે છે. M2 Pro ચિપ 200 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.
AI માટે M2 Pro ચિપ સાથેનું Mac mini કેટલી મેમરી સાથે લેવું?: 16 GB સાથે તે 22 ઓપન મૉડલ સારી રીતે ચલાવે છે; 32 GB સાથે 30, Qwen3.6 35B A3B સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

બીજાં Mac

બીજી ચિપ સાથેનું Mac mini:

M2 Pro ચિપ સાથેનાં બીજાં Mac:

MacBook Pro M2 Pro

સામસામે:

લોકલ AI માટે M2 Pro · લોકલ LLM માટે શ્રેષ્ઠ Mac · દરેક Mac

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.