શું M1 ચિપ સાથેનું iMac લોકલ LLM માટે સારું છે?

16 GB સાથે તે 73માંથી 14 ઓપન મૉડલ સારી રીતે ચલાવે છે, Gemma 4 E4B સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 19–34 ટોકન લખે છે. M1 ચિપ 68 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.

AI માટે M1 ચિપ સાથેનું iMac કેટલી મેમરી સાથે લેવું?

8 GB સાથે તે 14 ઓપન મૉડલ સારી રીતે ચલાવે છે; 16 GB સાથે 14, Gemma 4 E4B સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

iMac M1 પર કયાં LLM ચાલે: મેમરી પ્રમાણે

મેમરી સાઇઝ પ્રમાણે

મેમરી	સારાં ચાલે છે	સારું ચાલતું સૌથી મોટું	gpt-oss-20b
8 GB68 GB/s	14	Gemma 4 E4B	બહુ મોટું
16 GB68 GB/s	14	Gemma 4 E4B	19–34 tok/s

Mac મૉડલ: iMac (24-inch, M1, 2021). દરેક Mac મૉડલમાં દરેક મેમરી સાઇઝ મળતી નથી; કયા મૉડલ સાથે શું આવે છે તે Appleનાં Tech Specsમાં આપેલું છે.

પ્રશ્નો

શું M1 ચિપ સાથેનું iMac લોકલ LLM માટે સારું છે?: 16 GB સાથે તે 73માંથી 14 ઓપન મૉડલ સારી રીતે ચલાવે છે, Gemma 4 E4B સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 19–34 ટોકન લખે છે. M1 ચિપ 68 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.
AI માટે M1 ચિપ સાથેનું iMac કેટલી મેમરી સાથે લેવું?: 8 GB સાથે તે 14 ઓપન મૉડલ સારી રીતે ચલાવે છે; 16 GB સાથે 14, Gemma 4 E4B સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

બીજાં Mac

બીજી ચિપ સાથેનું iMac:

M1 ચિપ સાથેનાં બીજાં Mac:

સામસામે:

લોકલ AI માટે M1 · લોકલ LLM માટે શ્રેષ્ઠ Mac · દરેક Mac

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.