શું M2 Ultra ચિપ સાથેનું Mac Pro લોકલ LLM માટે સારું છે?

192 GB સાથે તે 73માંથી 49 ઓપન મૉડલ સારી રીતે ચલાવે છે, MiniMax M2.7 સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 189–337 ટોકન લખે છે. M2 Ultra ચિપ 800 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.

AI માટે M2 Ultra ચિપ સાથેનું Mac Pro કેટલી મેમરી સાથે લેવું?

64 GB સાથે તે 39 ઓપન મૉડલ સારી રીતે ચલાવે છે; 192 GB સાથે 49, MiniMax M2.7 સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

Mac Pro M2 Ultra પર કયાં LLM ચાલે: મેમરી પ્રમાણે

મેમરી સાઇઝ પ્રમાણે

મેમરી	સારાં ચાલે છે	સારું ચાલતું સૌથી મોટું	gpt-oss-20b
64 GB800 GB/s	39	Nemotron 3.5 Bolt 74B A9B	189–337 tok/s
128 GB800 GB/s	47	Qwen3.5 122B A10B	189–337 tok/s
192 GB800 GB/s	49	MiniMax M2.7	189–337 tok/s

Mac મૉડલ: Mac Pro (2023), Mac Pro (Rack, 2023). દરેક Mac મૉડલમાં દરેક મેમરી સાઇઝ મળતી નથી; કયા મૉડલ સાથે શું આવે છે તે Appleનાં Tech Specsમાં આપેલું છે.

પ્રશ્નો

શું M2 Ultra ચિપ સાથેનું Mac Pro લોકલ LLM માટે સારું છે?: 192 GB સાથે તે 73માંથી 49 ઓપન મૉડલ સારી રીતે ચલાવે છે, MiniMax M2.7 સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 189–337 ટોકન લખે છે. M2 Ultra ચિપ 800 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.
AI માટે M2 Ultra ચિપ સાથેનું Mac Pro કેટલી મેમરી સાથે લેવું?: 64 GB સાથે તે 39 ઓપન મૉડલ સારી રીતે ચલાવે છે; 192 GB સાથે 49, MiniMax M2.7 સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

બીજાં Mac

M2 Ultra ચિપ સાથેનાં બીજાં Mac:

Mac Studio M2 Ultra

સામસામે:

લોકલ AI માટે M2 Ultra · લોકલ LLM માટે શ્રેષ્ઠ Mac · દરેક Mac

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.