શું M2 Max ચિપ સાથેનું Mac Studio લોકલ LLM માટે સારું છે?

96 GB સાથે તે 73માંથી 43 ઓપન મૉડલ સારી રીતે ચલાવે છે, gpt-oss-120b સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 95–168 ટોકન લખે છે. M2 Max ચિપ 400 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.

AI માટે M2 Max ચિપ સાથેનું Mac Studio કેટલી મેમરી સાથે લેવું?

32 GB સાથે તે 38 ઓપન મૉડલ સારી રીતે ચલાવે છે; 96 GB સાથે 43, gpt-oss-120b સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

Mac Studio M2 Max પર કયાં LLM ચાલે: મેમરી પ્રમાણે

મેમરી સાઇઝ પ્રમાણે

મેમરી	સારાં ચાલે છે	સારું ચાલતું સૌથી મોટું	gpt-oss-20b
32 GB400 GB/s	38	Qwen3.6 35B A3B	95–168 tok/s
64 GB400 GB/s	39	Nemotron 3.5 Bolt 74B A9B	95–168 tok/s
96 GB400 GB/s	43	gpt-oss-120b	95–168 tok/s

Mac મૉડલ: Mac Studio (2023). દરેક Mac મૉડલમાં દરેક મેમરી સાઇઝ મળતી નથી; કયા મૉડલ સાથે શું આવે છે તે Appleનાં Tech Specsમાં આપેલું છે.

પ્રશ્નો

શું M2 Max ચિપ સાથેનું Mac Studio લોકલ LLM માટે સારું છે?: 96 GB સાથે તે 73માંથી 43 ઓપન મૉડલ સારી રીતે ચલાવે છે, gpt-oss-120b સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 95–168 ટોકન લખે છે. M2 Max ચિપ 400 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.
AI માટે M2 Max ચિપ સાથેનું Mac Studio કેટલી મેમરી સાથે લેવું?: 32 GB સાથે તે 38 ઓપન મૉડલ સારી રીતે ચલાવે છે; 96 GB સાથે 43, gpt-oss-120b સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

બીજાં Mac

બીજી ચિપ સાથેનું Mac Studio:

M2 Max ચિપ સાથેનાં બીજાં Mac:

MacBook Pro M2 Max

સામસામે:

લોકલ AI માટે M2 Max · લોકલ LLM માટે શ્રેષ્ઠ Mac · દરેક Mac

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.