લૉગ ઇનવૉલેટ બનાવો

24 GBવાળું M4 Pro શું ચલાવી શકે?

તેના પર 73માંથી 25 ઓપન મૉડલ સારાં ચાલે છે. ડિફૉલ્ટ રીતે GPU તેની 24 GBમાંથી આશરે 18 GB વાપરી શકે છે, અને તે 273 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે. આમાં મળે છે: Mac mini (2024), MacBook Pro (14-inch, M4 Pro or M4 Max, 2024), MacBook Pro (16-inch, 2024).

સારું ચાલતું સૌથી સ્માર્ટMiniCPM5 2B8-બિટ · 2.7 GB · 45–81 tok/sસારું ચાલતું સૌથી મોટુંGemma 4 26B A4B4-બિટ · 14.2 GB · 59–104 tok/s

સારાં ચાલે છે 30

કૉન્ટેક્સ્ટ માટે જગ્યા સાથે સમાય છે, સેકન્ડના 10 કે વધુ ટોકનની ઝડપે.

મૉડલવર્ઝનમેમરીટોકન/સેકન્ડ
MiniCPM5 2B2.52B · ઇન્ટેલિજન્સ 12.58-બિટ2.7 GB45–81
Qwen3.5 9B9B · ઇન્ટેલિજન્સ 11.28-બિટ9.6 GB13–23
Granite 4.2 8B8B · ઇન્ટેલિજન્સ 11.18-બિટ8.5 GB14–26
Granite 4.2 3B3B · ઇન્ટેલિજન્સ 9.18-બિટ3.2 GB38–68
gpt-oss-20b21B · 3.6B સક્રિય · ઇન્ટેલિજન્સ 9નેટિવ 4.25-બિટ13.8 GB65–115
Gemma 4 E4B8B · ઇન્ટેલિજન્સ 8.98-બિટ8.5 GB26–46
Ministral 3 8B8.9B · ઇન્ટેલિજન્સ 5.58-બિટ9.5 GB13–23
Nemotron 3 Nano 4B3.97B · ઇન્ટેલિજન્સ 4.88-બિટ4.2 GB29–52
Gemma 4 26B A4B25.2B · 3.8B સક્રિય4-બિટ14.2 GB59–104
LFM2.5 24B A2B24B · 2B સક્રિય4-બિટ13.5 GB112–199
Phi-4 Reasoning Vision 15B15B6-બિટ12.2 GB10–18
Phi-4 (14B)14B6-બિટ11.4 GB11–19
Gemma 4 12B Unified12B8-બિટ12.7 GB10–17
Qwen3 8B8.2B8-બિટ8.7 GB14–25
Llama 3.1 8B Instruct8B8-બિટ8.5 GB14–26
Gemma 4 E2B5.1B8-બિટ5.4 GB51–91
Qwen3.5 4B4B8-બિટ4.3 GB29–51
Phi-4 mini instruct3.8B8-બિટ4 GB31–55
Llama 3.2 3B Instruct3.21B8-બિટ3.4 GB36–64
SmolLM3 3B3B8-બિટ3.2 GB38–68
LFM2.5 2.6B2.69B8-બિટ2.9 GB42–75
Qwen3.5 2B2B8-બિટ2.1 GB59–104
Llama 3.2 1B Instruct1.23B8-બિટ1.3 GB95–168
Qwen3.5 0.8B0.8B8-બિટ0.9 GB137–243
Qwen3 0.6B0.6B8-બિટ0.6 GB205–364
Qwen3.6 35B A3B35B · 3B સક્રિય · ઇન્ટેલિજન્સ 18.23-બિટ ઓછી ગુણવત્તા15.3 GB95–168
Nemotron 3.5 Lightning 30B A3B30B · 3B સક્રિય · ઇન્ટેલિજન્સ 12.93-બિટ ઓછી ગુણવત્તા13.1 GB95–168
Nemotron 3 Nano 30B A3B30B · 3.5B સક્રિય · ઇન્ટેલિજન્સ 8.93-બિટ ઓછી ગુણવત્તા13.1 GB82–146
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B સક્રિય3-બિટ ઓછી ગુણવત્તા13.3 GB88–156
GLM-4.7 Flash30B · 3B સક્રિય3-બિટ ઓછી ગુણવત્તા13.1 GB95–168

ચાલે છે, પણ ધીમે 8

સમાય છે, પણ સેકન્ડના 10 ટોકનથી ઓછી ઝડપે: બૅચ કામ માટે બરાબર, ચૅટ માટે ધીમાં.

મૉડલવર્ઝનમેમરીટોકન/સેકન્ડ
Qwen3.8 27B27B · ઇન્ટેલિજન્સ 33.74-બિટ15.2 GB8–14
Qwen3.6 27B27B4-બિટ15.2 GB8–14
Devstral Small 2 (24B)24B4-બિટ13.5 GB9–16
Magistral Small 1.2 (2509)24B4-બિટ13.5 GB9–16
Mistral Small 3.2 (24B)24B4-બિટ13.5 GB9–16
Muse Glimmer 30B29.6B · ઇન્ટેલિજન્સ 17.53-બિટ ઓછી ગુણવત્તા13 GB9–17
Gemma 4 31B30.7B · ઇન્ટેલિજન્સ 14.73-બિટ ઓછી ગુણવત્તા13.4 GB9–16
Granite 4.2 30B30B · ઇન્ટેલિજન્સ 12.73-બિટ ઓછી ગુણવત્તા13.1 GB9–17

બહુ મોટાં 35

24 GB કરતાં વધુ મેમરી જોઈએ, 2 બિટ પર પણ.

બીજાં Mac

24 GBવાળું દરેક Mac, કોઈ પણ ચિપ સાથે.

ઓછી કે વધુ મેમરીવાળું M4 Pro:

નજીકની ચિપ:

સામસામે:

PC અને ગ્રાફિક્સ કાર્ડ સામે:

તેની સરખામણી કોઈ પણ Mac કે GPU સાથે કરો · લોકલ AI માટે M4 Pro · લોકલ LLM માટે શ્રેષ્ઠ Mac · દરેક Mac

પ્રશ્નો

24 GBવાળા M4 Pro માટે શ્રેષ્ઠ LLM કયું છે?
જે મૉડલનો Intelligence Index પ્રકાશિત છે, તેમાંથી અહીં સારાં ચાલતાં મૉડલમાં MiniCPM5 2Bનો સ્કોર સૌથી ઊંચો છે: 8-બિટ, સેકન્ડના આશરે 45–81 ટોકન. સારું ચાલતું સૌથી મોટું મૉડલ Gemma 4 26B A4B છે.
શું 24 GBવાળું M4 Pro Llama 3.3 70B ચલાવી શકે?
ના: 2 બિટ પર પણ તેને GPU ડિફૉલ્ટ રીતે વાપરી શકે તે 18 GB કરતાં વધુ જોઈએ.
M4 Pro પર gpt-oss-20b કેટલું ઝડપી ચાલે છે?
સેકન્ડના આશરે 65–115 ટોકન (નેટિવ 4.25-બિટ), ચિપની 273 GB/s મેમરી બૅન્ડવિડ્થના આધારે.

આ મૉડલ MLX Harness (મફત, ઓપન સોર્સ) વડે અથવા Terminalમાં Appleના mlx-lm વડે ચલાવો: સ્ટેપ બાય સ્ટેપ.

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.

24 GBવાળું M4 Pro કયાં LLM ચલાવી શકે? દરેક મૉડલ, ઝડપ સાથે