શું M4 ચિપ સાથેનું Mac mini લોકલ LLM માટે સારું છે?

32 GB સાથે તે 73માંથી 27 ઓપન મૉડલ સારી રીતે ચલાવે છે, Qwen3.6 35B A3B સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 28–51 ટોકન લખે છે. M4 ચિપ 120 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.

AI માટે M4 ચિપ સાથેનું Mac mini કેટલી મેમરી સાથે લેવું?

16 GB સાથે તે 19 ઓપન મૉડલ સારી રીતે ચલાવે છે; 32 GB સાથે 27, Qwen3.6 35B A3B સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

Mac mini M4 પર કયાં LLM ચાલે: મેમરી પ્રમાણે

મેમરી સાઇઝ પ્રમાણે

મેમરી	સારાં ચાલે છે	સારું ચાલતું સૌથી મોટું	gpt-oss-20b
16 GB120 GB/s	19	Qwen3.5 9B	34–60 tok/s
24 GB120 GB/s	22	Gemma 4 26B A4B	28–51 tok/s
32 GB120 GB/s	27	Qwen3.6 35B A3B	28–51 tok/s

Mac મૉડલ: Mac mini (2024). દરેક Mac મૉડલમાં દરેક મેમરી સાઇઝ મળતી નથી; કયા મૉડલ સાથે શું આવે છે તે Appleનાં Tech Specsમાં આપેલું છે.

પ્રશ્નો

શું M4 ચિપ સાથેનું Mac mini લોકલ LLM માટે સારું છે?: 32 GB સાથે તે 73માંથી 27 ઓપન મૉડલ સારી રીતે ચલાવે છે, Qwen3.6 35B A3B સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 28–51 ટોકન લખે છે. M4 ચિપ 120 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.
AI માટે M4 ચિપ સાથેનું Mac mini કેટલી મેમરી સાથે લેવું?: 16 GB સાથે તે 19 ઓપન મૉડલ સારી રીતે ચલાવે છે; 32 GB સાથે 27, Qwen3.6 35B A3B સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

બીજાં Mac

બીજી ચિપ સાથેનું Mac mini:

M4 ચિપ સાથેનાં બીજાં Mac:

સામસામે:

લોકલ AI માટે M4 · લોકલ LLM માટે શ્રેષ્ઠ Mac · દરેક Mac

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.