શું M2 ચિપ સાથેનું Mac mini લોકલ LLM માટે સારું છે?

24 GB સાથે તે 73માંથી 20 ઓપન મૉડલ સારી રીતે ચલાવે છે, Gemma 4 26B A4B સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 24–42 ટોકન લખે છે. M2 ચિપ 100 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.

AI માટે M2 ચિપ સાથેનું Mac mini કેટલી મેમરી સાથે લેવું?

8 GB સાથે તે 16 ઓપન મૉડલ સારી રીતે ચલાવે છે; 24 GB સાથે 20, Gemma 4 26B A4B સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

Mac mini M2 પર કયાં LLM ચાલે: મેમરી પ્રમાણે

મેમરી સાઇઝ પ્રમાણે

મેમરી	સારાં ચાલે છે	સારું ચાલતું સૌથી મોટું	gpt-oss-20b
8 GB100 GB/s	16	Granite 4.2 8B	બહુ મોટું
16 GB100 GB/s	17	Qwen3 8B	28–50 tok/s
24 GB100 GB/s	20	Gemma 4 26B A4B	24–42 tok/s

Mac મૉડલ: Mac mini (2023). દરેક Mac મૉડલમાં દરેક મેમરી સાઇઝ મળતી નથી; કયા મૉડલ સાથે શું આવે છે તે Appleનાં Tech Specsમાં આપેલું છે.

પ્રશ્નો

શું M2 ચિપ સાથેનું Mac mini લોકલ LLM માટે સારું છે?: 24 GB સાથે તે 73માંથી 20 ઓપન મૉડલ સારી રીતે ચલાવે છે, Gemma 4 26B A4B સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 24–42 ટોકન લખે છે. M2 ચિપ 100 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.
AI માટે M2 ચિપ સાથેનું Mac mini કેટલી મેમરી સાથે લેવું?: 8 GB સાથે તે 16 ઓપન મૉડલ સારી રીતે ચલાવે છે; 24 GB સાથે 20, Gemma 4 26B A4B સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

બીજાં Mac

બીજી ચિપ સાથેનું Mac mini:

M2 ચિપ સાથેનાં બીજાં Mac:

સામસામે:

લોકલ AI માટે M2 · લોકલ LLM માટે શ્રેષ્ઠ Mac · દરેક Mac

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.