શું M5 Max ચિપ સાથેનું Mac Studio લોકલ LLM માટે સારું છે?

128 GB સાથે તે 73માંથી 47 ઓપન મૉડલ સારી રીતે ચલાવે છે, Qwen3.5 122B A10B સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 145–259 ટોકન લખે છે. M5 Max ચિપ 614 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.

AI માટે M5 Max ચિપ સાથેનું Mac Studio કેટલી મેમરી સાથે લેવું?

36 GB સાથે તે 38 ઓપન મૉડલ સારી રીતે ચલાવે છે; 128 GB સાથે 47, Qwen3.5 122B A10B સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

Mac Studio M5 Max પર કયાં LLM ચાલે: મેમરી પ્રમાણે

મેમરી સાઇઝ પ્રમાણે

મેમરી	સારાં ચાલે છે	સારું ચાલતું સૌથી મોટું	gpt-oss-20b
36 GB460 GB/s	38	Qwen3.6 35B A3B	109–194 tok/s
48 GB614 GB/s	38	Qwen3.6 35B A3B	145–259 tok/s
64 GB614 GB/s	39	Nemotron 3.5 Bolt 74B A9B	145–259 tok/s
128 GB614 GB/s	47	Qwen3.5 122B A10B	145–259 tok/s

Mac મૉડલ: Mac Studio (M5 Max or M5 Ultra). દરેક Mac મૉડલમાં દરેક મેમરી સાઇઝ મળતી નથી; કયા મૉડલ સાથે શું આવે છે તે Appleનાં Tech Specsમાં આપેલું છે.

પ્રશ્નો

શું M5 Max ચિપ સાથેનું Mac Studio લોકલ LLM માટે સારું છે?: 128 GB સાથે તે 73માંથી 47 ઓપન મૉડલ સારી રીતે ચલાવે છે, Qwen3.5 122B A10B સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 145–259 ટોકન લખે છે. M5 Max ચિપ 614 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.
AI માટે M5 Max ચિપ સાથેનું Mac Studio કેટલી મેમરી સાથે લેવું?: 36 GB સાથે તે 38 ઓપન મૉડલ સારી રીતે ચલાવે છે; 128 GB સાથે 47, Qwen3.5 122B A10B સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

બીજાં Mac

બીજી ચિપ સાથેનું Mac Studio:

M5 Max ચિપ સાથેનાં બીજાં Mac:

MacBook Pro M5 Max

સામસામે:

PC અને ગ્રાફિક્સ કાર્ડ સામે:

લોકલ AI માટે M5 Max · લોકલ LLM માટે શ્રેષ્ઠ Mac · દરેક Mac

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.