શું M5 Pro ચિપ સાથેનું MacBook Pro લોકલ LLM માટે સારું છે?

64 GB સાથે તે 73માંથી 34 ઓપન મૉડલ સારી રીતે ચલાવે છે, Nemotron 3.5 Bolt 74B A9B સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 73–129 ટોકન લખે છે. M5 Pro ચિપ 307 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.

AI માટે M5 Pro ચિપ સાથેનું MacBook Pro કેટલી મેમરી સાથે લેવું?

24 GB સાથે તે 28 ઓપન મૉડલ સારી રીતે ચલાવે છે; 64 GB સાથે 34, Nemotron 3.5 Bolt 74B A9B સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

MacBook Pro M5 Pro પર કયાં LLM ચાલે: મેમરી પ્રમાણે

મેમરી સાઇઝ પ્રમાણે

મેમરી	સારાં ચાલે છે	સારું ચાલતું સૌથી મોટું	gpt-oss-20b
24 GB307 GB/s	28	Gemma 4 26B A4B	73–129 tok/s
48 GB307 GB/s	33	Qwen3.6 35B A3B	73–129 tok/s
64 GB307 GB/s	34	Nemotron 3.5 Bolt 74B A9B	73–129 tok/s

Mac મૉડલ: MacBook Pro (14-inch, M5 Pro or M5 Max), MacBook Pro (16-inch, M5 Pro or M5 Max). દરેક Mac મૉડલમાં દરેક મેમરી સાઇઝ મળતી નથી; કયા મૉડલ સાથે શું આવે છે તે Appleનાં Tech Specsમાં આપેલું છે.

પ્રશ્નો

શું M5 Pro ચિપ સાથેનું MacBook Pro લોકલ LLM માટે સારું છે?: 64 GB સાથે તે 73માંથી 34 ઓપન મૉડલ સારી રીતે ચલાવે છે, Nemotron 3.5 Bolt 74B A9B સુધી, અને gpt-oss-20b સાથે સેકન્ડના આશરે 73–129 ટોકન લખે છે. M5 Pro ચિપ 307 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે.
AI માટે M5 Pro ચિપ સાથેનું MacBook Pro કેટલી મેમરી સાથે લેવું?: 24 GB સાથે તે 28 ઓપન મૉડલ સારી રીતે ચલાવે છે; 64 GB સાથે 34, Nemotron 3.5 Bolt 74B A9B સુધી. કયાં મૉડલ સમાશે તે મેમરી નક્કી કરે છે, અને તે પછીથી અપગ્રેડ કરી શકાતી નથી.

બીજાં Mac

બીજી ચિપ સાથેનું MacBook Pro:

M5 Pro ચિપ સાથેનાં બીજાં Mac:

Mac mini M5 Pro

સામસામે:

લોકલ AI માટે M5 Pro · લોકલ LLM માટે શ્રેષ્ઠ Mac · દરેક Mac

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.