શું M4 Pro ચિપ સાથેનું Mac mini લોકલ LLM માટે સારું છે?

64 GB સાથે તે 73માંથી 31 ઓપન મૉડલ સારી રીતે ચલાવે છે, Nemotron 3.5 Bolt 74B A9B સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 65–115 ટોકન લખે છે. M4 Pro ચિપ 273 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.

AI માટે M4 Pro ચિપ સાથેનું Mac mini કેટલી મેમરી સાથે લેવું?

24 GB સાથે તે 25 ઓપન મૉડલ સારી રીતે ચલાવે છે; 64 GB સાથે 31, Nemotron 3.5 Bolt 74B A9B સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

Mac mini M4 Pro પર કયાં LLM ચાલે: મેમરી પ્રમાણે

મેમરી સાઇઝ પ્રમાણે

મેમરી	સારાં ચાલે છે	સારું ચાલતું સૌથી મોટું	gpt-oss-20b
24 GB273 GB/s	25	Gemma 4 26B A4B	65–115 tok/s
48 GB273 GB/s	30	Qwen3.6 35B A3B	65–115 tok/s
64 GB273 GB/s	31	Nemotron 3.5 Bolt 74B A9B	65–115 tok/s

Mac મૉડલ: Mac mini (2024). દરેક Mac મૉડલમાં દરેક મેમરી સાઇઝ મળતી નથી; કયા મૉડલ સાથે શું આવે છે તે Appleનાં Tech Specsમાં આપેલું છે.

પ્રશ્નો

શું M4 Pro ચિપ સાથેનું Mac mini લોકલ LLM માટે સારું છે?: 64 GB સાથે તે 73માંથી 31 ઓપન મૉડલ સારી રીતે ચલાવે છે, Nemotron 3.5 Bolt 74B A9B સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 65–115 ટોકન લખે છે. M4 Pro ચિપ 273 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.
AI માટે M4 Pro ચિપ સાથેનું Mac mini કેટલી મેમરી સાથે લેવું?: 24 GB સાથે તે 25 ઓપન મૉડલ સારી રીતે ચલાવે છે; 64 GB સાથે 31, Nemotron 3.5 Bolt 74B A9B સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

બીજાં Mac

બીજી ચિપ સાથેનું Mac mini:

M4 Pro ચિપ સાથેનાં બીજાં Mac:

MacBook Pro M4 Pro

સામસામે:

PC અને ગ્રાફિક્સ કાર્ડ સામે:

M4 Pro vs Ryzen AI Max+ 395

લોકલ AI માટે M4 Pro · લોકલ LLM માટે શ્રેષ્ઠ Mac · દરેક Mac

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.