શું M5 Ultra ચિપ સાથેનું Mac Studio લોકલ LLM માટે સારું છે?

512 GB સાથે તે 73માંથી 61 ઓપન મૉડલ સારી રીતે ચલાવે છે, DeepSeek V4.1 Flash 1017 સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 284–505 ટોકન લખે છે. M5 Ultra ચિપ 1,200 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.

AI માટે M5 Ultra ચિપ સાથેનું Mac Studio કેટલી મેમરી સાથે લેવું?

96 GB સાથે તે 44 ઓપન મૉડલ સારી રીતે ચલાવે છે; 512 GB સાથે 61, DeepSeek V4.1 Flash 1017 સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

Mac Studio M5 Ultra પર કયાં LLM ચાલે: મેમરી પ્રમાણે

મેમરી સાઇઝ પ્રમાણે

મેમરી	સારાં ચાલે છે	સારું ચાલતું સૌથી મોટું	gpt-oss-20b
96 GB1,200 GB/s	44	gpt-oss-120b	284–505 tok/s
256 GB1,200 GB/s	54	MiMo V2.6 Flash	284–505 tok/s
512 GB1,200 GB/s	61	DeepSeek V4.1 Flash 1017	284–505 tok/s

Mac મૉડલ: Mac Studio (M5 Max or M5 Ultra). દરેક Mac મૉડલમાં દરેક મેમરી સાઇઝ મળતી નથી; કયા મૉડલ સાથે શું આવે છે તે Appleનાં Tech Specsમાં આપેલું છે.

પ્રશ્નો

શું M5 Ultra ચિપ સાથેનું Mac Studio લોકલ LLM માટે સારું છે?: 512 GB સાથે તે 73માંથી 61 ઓપન મૉડલ સારી રીતે ચલાવે છે, DeepSeek V4.1 Flash 1017 સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 284–505 ટોકન લખે છે. M5 Ultra ચિપ 1,200 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.
AI માટે M5 Ultra ચિપ સાથેનું Mac Studio કેટલી મેમરી સાથે લેવું?: 96 GB સાથે તે 44 ઓપન મૉડલ સારી રીતે ચલાવે છે; 512 GB સાથે 61, DeepSeek V4.1 Flash 1017 સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

બીજાં Mac

બીજી ચિપ સાથેનું Mac Studio:

સામસામે:

PC અને ગ્રાફિક્સ કાર્ડ સામે:

લોકલ AI માટે M5 Ultra · લોકલ LLM માટે શ્રેષ્ઠ Mac · દરેક Mac

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.