લૉગ ઇનવૉલેટ બનાવો

24 GBવાળું M5 Pro શું ચલાવી શકે?

તેના પર 73માંથી 28 ઓપન મૉડલ સારાં ચાલે છે. ડિફૉલ્ટ રીતે GPU તેની 24 GBમાંથી આશરે 18 GB વાપરી શકે છે, અને તે 307 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે. આમાં મળે છે: MacBook Pro (14-inch, M5 Pro or M5 Max), MacBook Pro (16-inch, M5 Pro or M5 Max), Mac mini (M6 or M5 Pro).

સારું ચાલતું સૌથી સ્માર્ટMiniCPM5 2B8-બિટ · 2.7 GB · 51–91 tok/sસારું ચાલતું સૌથી મોટુંGemma 4 26B A4B4-બિટ · 14.2 GB · 66–117 tok/sકોડ માટેDevstral Small 2 (24B)4-બિટ · 13.5 GB · 10–18 tok/s

સારાં ચાલે છે 36

કૉન્ટેક્સ્ટ માટે જગ્યા સાથે સમાય છે, સેકન્ડના 10 કે વધુ ટોકનની ઝડપે.

મૉડલવર્ઝનમેમરીટોકન/સેકન્ડ
MiniCPM5 2B2.52B · ઇન્ટેલિજન્સ 12.58-બિટ2.7 GB51–91
Qwen3.5 9B9B · ઇન્ટેલિજન્સ 11.28-બિટ9.6 GB14–26
Granite 4.2 8B8B · ઇન્ટેલિજન્સ 11.18-બિટ8.5 GB16–29
Granite 4.2 3B3B · ઇન્ટેલિજન્સ 9.18-બિટ3.2 GB43–77
gpt-oss-20b21B · 3.6B સક્રિય · ઇન્ટેલિજન્સ 9નેટિવ 4.25-બિટ13.8 GB73–129
Gemma 4 E4B8B · ઇન્ટેલિજન્સ 8.98-બિટ8.5 GB29–51
Ministral 3 8B8.9B · ઇન્ટેલિજન્સ 5.58-બિટ9.5 GB15–26
Nemotron 3 Nano 4B3.97B · ઇન્ટેલિજન્સ 4.88-બિટ4.2 GB33–58
Gemma 4 26B A4B25.2B · 3.8B સક્રિય4-બિટ14.2 GB66–117
Devstral Small 2 (24B)24B4-બિટ13.5 GB10–18
Magistral Small 1.2 (2509)24B4-બિટ13.5 GB10–18
Mistral Small 3.2 (24B)24B4-બિટ13.5 GB10–18
LFM2.5 24B A2B24B · 2B સક્રિય4-બિટ13.5 GB126–223
Phi-4 Reasoning Vision 15B15B6-બિટ12.2 GB11–20
Phi-4 (14B)14B6-બિટ11.4 GB12–22
Gemma 4 12B Unified12B8-બિટ12.7 GB11–19
Qwen3 8B8.2B8-બિટ8.7 GB16–28
Llama 3.1 8B Instruct8B8-બિટ8.5 GB16–29
Gemma 4 E2B5.1B8-બિટ5.4 GB58–102
Qwen3.5 4B4B8-બિટ4.3 GB32–57
Phi-4 mini instruct3.8B8-બિટ4 GB35–61
Llama 3.2 3B Instruct3.21B8-બિટ3.4 GB41–72
SmolLM3 3B3B8-બિટ3.2 GB43–77
LFM2.5 2.6B2.69B8-બિટ2.9 GB48–85
Qwen3.5 2B2B8-બિટ2.1 GB66–117
Llama 3.2 1B Instruct1.23B8-બિટ1.3 GB106–189
Qwen3.5 0.8B0.8B8-બિટ0.9 GB154–273
Qwen3 0.6B0.6B8-બિટ0.6 GB230–409
Qwen3.6 35B A3B35B · 3B સક્રિય · ઇન્ટેલિજન્સ 18.23-બિટ ઓછી ગુણવત્તા15.3 GB106–189
Muse Glimmer 30B29.6B · ઇન્ટેલિજન્સ 17.53-બિટ ઓછી ગુણવત્તા13 GB11–19
Gemma 4 31B30.7B · ઇન્ટેલિજન્સ 14.73-બિટ ઓછી ગુણવત્તા13.4 GB10–18
Nemotron 3.5 Lightning 30B A3B30B · 3B સક્રિય · ઇન્ટેલિજન્સ 12.93-બિટ ઓછી ગુણવત્તા13.1 GB106–189
Granite 4.2 30B30B · ઇન્ટેલિજન્સ 12.73-બિટ ઓછી ગુણવત્તા13.1 GB11–19
Nemotron 3 Nano 30B A3B30B · 3.5B સક્રિય · ઇન્ટેલિજન્સ 8.93-બિટ ઓછી ગુણવત્તા13.1 GB92–164
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B સક્રિય3-બિટ ઓછી ગુણવત્તા13.3 GB99–175
GLM-4.7 Flash30B · 3B સક્રિય3-બિટ ઓછી ગુણવત્તા13.1 GB106–189

ચાલે છે, પણ ધીમે 2

સમાય છે, પણ સેકન્ડના 10 ટોકનથી ઓછી ઝડપે: બૅચ કામ માટે બરાબર, ચૅટ માટે ધીમાં.

મૉડલવર્ઝનમેમરીટોકન/સેકન્ડ
Qwen3.8 27B27B · ઇન્ટેલિજન્સ 33.74-બિટ15.2 GB9–16
Qwen3.6 27B27B4-બિટ15.2 GB9–16

બહુ મોટાં 35

24 GB કરતાં વધુ મેમરી જોઈએ, 2 બિટ પર પણ.

બીજાં Mac

24 GBવાળું દરેક Mac, કોઈ પણ ચિપ સાથે.

ઓછી કે વધુ મેમરીવાળું M5 Pro:

નજીકની ચિપ:

સામસામે:

તેની સરખામણી કોઈ પણ Mac કે GPU સાથે કરો · લોકલ AI માટે M5 Pro · લોકલ LLM માટે શ્રેષ્ઠ Mac · દરેક Mac

પ્રશ્નો

24 GBવાળા M5 Pro માટે શ્રેષ્ઠ LLM કયું છે?
જે મૉડલનો Intelligence Index પ્રકાશિત છે, તેમાંથી અહીં સારાં ચાલતાં મૉડલમાં MiniCPM5 2Bનો સ્કોર સૌથી ઊંચો છે: 8-બિટ, સેકન્ડના આશરે 51–91 ટોકન. સારું ચાલતું સૌથી મોટું મૉડલ Gemma 4 26B A4B છે.
શું 24 GBવાળું M5 Pro Llama 3.3 70B ચલાવી શકે?
ના: 2 બિટ પર પણ તેને GPU ડિફૉલ્ટ રીતે વાપરી શકે તે 18 GB કરતાં વધુ જોઈએ.
M5 Pro પર gpt-oss-20b કેટલું ઝડપી ચાલે છે?
સેકન્ડના આશરે 73–129 ટોકન (નેટિવ 4.25-બિટ), ચિપની 307 GB/s મેમરી બૅન્ડવિડ્થના આધારે.

આ મૉડલ MLX Harness (મફત, ઓપન સોર્સ) વડે અથવા Terminalમાં Appleના mlx-lm વડે ચલાવો: સ્ટેપ બાય સ્ટેપ.

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.

24 GBવાળું M5 Pro કયાં LLM ચલાવી શકે? દરેક મૉડલ, ઝડપ સાથે