શું M1 Ultra ચિપ સાથેનું Mac Studio લોકલ LLM માટે સારું છે?

128 GB સાથે તે 73માંથી 47 ઓપન મૉડલ સારી રીતે ચલાવે છે, Qwen3.5 122B A10B સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 189–337 ટોકન લખે છે. M1 Ultra ચિપ 800 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.

AI માટે M1 Ultra ચિપ સાથેનું Mac Studio કેટલી મેમરી સાથે લેવું?

64 GB સાથે તે 39 ઓપન મૉડલ સારી રીતે ચલાવે છે; 128 GB સાથે 47, Qwen3.5 122B A10B સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

Mac Studio M1 Ultra પર કયાં LLM ચાલે: મેમરી પ્રમાણે

મેમરી સાઇઝ પ્રમાણે

મેમરી	સારાં ચાલે છે	સારું ચાલતું સૌથી મોટું	gpt-oss-20b
64 GB800 GB/s	39	Nemotron 3.5 Bolt 74B A9B	189–337 tok/s
128 GB800 GB/s	47	Qwen3.5 122B A10B	189–337 tok/s

Mac મૉડલ: Mac Studio (2022). દરેક Mac મૉડલમાં દરેક મેમરી સાઇઝ મળતી નથી; કયા મૉડલ સાથે શું આવે છે તે Appleનાં Tech Specsમાં આપેલું છે.

પ્રશ્નો

શું M1 Ultra ચિપ સાથેનું Mac Studio લોકલ LLM માટે સારું છે?: 128 GB સાથે તે 73માંથી 47 ઓપન મૉડલ સારી રીતે ચલાવે છે, Qwen3.5 122B A10B સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 189–337 ટોકન લખે છે. M1 Ultra ચિપ 800 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.
AI માટે M1 Ultra ચિપ સાથેનું Mac Studio કેટલી મેમરી સાથે લેવું?: 64 GB સાથે તે 39 ઓપન મૉડલ સારી રીતે ચલાવે છે; 128 GB સાથે 47, Qwen3.5 122B A10B સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

બીજાં Mac

બીજી ચિપ સાથેનું Mac Studio:

સામસામે:

લોકલ AI માટે M1 Ultra · લોકલ LLM માટે શ્રેષ્ઠ Mac · દરેક Mac

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.