લૉગ ઇનવૉલેટ બનાવો

18 GBવાળું M3 Pro શું ચલાવી શકે?

તેના પર 73માંથી 20 ઓપન મૉડલ સારાં ચાલે છે. ડિફૉલ્ટ રીતે GPU તેની 18 GBમાંથી આશરે 14 GB વાપરી શકે છે, અને તે 150 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે. આમાં મળે છે: MacBook Pro (14-inch, M3 Pro or M3 Max, Nov 2023), MacBook Pro (16-inch, Nov 2023).

સારું ચાલતું સૌથી સ્માર્ટMiniCPM5 2B8-બિટ · 2.7 GB · 25–44 tok/sસારું ચાલતું સૌથી મોટુંGemma 4 12B Unified4-બિટ · 6.7 GB · 10–18 tok/s

સારાં ચાલે છે 27

કૉન્ટેક્સ્ટ માટે જગ્યા સાથે સમાય છે, સેકન્ડના 10 કે વધુ ટોકનની ઝડપે.

મૉડલવર્ઝનમેમરીટોકન/સેકન્ડ
MiniCPM5 2B2.52B · ઇન્ટેલિજન્સ 12.58-બિટ2.7 GB25–44
Qwen3.5 9B9B · ઇન્ટેલિજન્સ 11.24-બિટ5.1 GB13–24
Granite 4.2 8B8B · ઇન્ટેલિજન્સ 11.16-બિટ6.5 GB10–18
Granite 4.2 3B3B · ઇન્ટેલિજન્સ 9.18-બિટ3.2 GB21–38
Gemma 4 E4B8B · ઇન્ટેલિજન્સ 8.98-બિટ8.5 GB14–25
Ministral 3 8B8.9B · ઇન્ટેલિજન્સ 5.54-બિટ5 GB14–24
Nemotron 3 Nano 4B3.97B · ઇન્ટેલિજન્સ 4.88-બિટ4.2 GB16–29
Gemma 4 12B Unified12B4-બિટ6.7 GB10–18
Qwen3 8B8.2B6-બિટ6.7 GB10–18
Llama 3.1 8B Instruct8B6-બિટ6.5 GB10–18
Gemma 4 E2B5.1B8-બિટ5.4 GB28–50
Qwen3.5 4B4B8-બિટ4.3 GB16–28
Phi-4 mini instruct3.8B8-બિટ4 GB17–30
Llama 3.2 3B Instruct3.21B8-બિટ3.4 GB20–35
SmolLM3 3B3B8-બિટ3.2 GB21–38
LFM2.5 2.6B2.69B8-બિટ2.9 GB23–41
Qwen3.5 2B2B8-બિટ2.1 GB32–57
Llama 3.2 1B Instruct1.23B8-બિટ1.3 GB52–92
Qwen3.5 0.8B0.8B8-બિટ0.9 GB75–133
Qwen3 0.6B0.6B8-બિટ0.6 GB113–200
Qwen3.6 35B A3B35B · 3B સક્રિય · ઇન્ટેલિજન્સ 18.22-બિટ ઓછી ગુણવત્તા10.9 GB75–133
Nemotron 3.5 Lightning 30B A3B30B · 3B સક્રિય · ઇન્ટેલિજન્સ 12.92-બિટ ઓછી ગુણવત્તા9.4 GB75–133
Nemotron 3 Nano 30B A3B30B · 3.5B સક્રિય · ઇન્ટેલિજન્સ 8.92-બિટ ઓછી ગુણવત્તા9.4 GB61–109
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B સક્રિય2-બિટ ઓછી ગુણવત્તા9.5 GB68–120
GLM-4.7 Flash30B · 3B સક્રિય2-બિટ ઓછી ગુણવત્તા9.4 GB75–133
Gemma 4 26B A4B25.2B · 3.8B સક્રિય3-બિટ ઓછી ગુણવત્તા11 GB40–71
LFM2.5 24B A2B24B · 2B સક્રિય3-બિટ ઓછી ગુણવત્તા10.5 GB75–133

ચાલે છે, પણ ધીમે 10

સમાય છે, પણ સેકન્ડના 10 ટોકનથી ઓછી ઝડપે: બૅચ કામ માટે બરાબર, ચૅટ માટે ધીમાં.

મૉડલવર્ઝનમેમરીટોકન/સેકન્ડ
Phi-4 Reasoning Vision 15B15B4-બિટ8.4 GB8–14
Phi-4 (14B)14B6-બિટ11.4 GB6–11
Qwen3.8 27B27B · ઇન્ટેલિજન્સ 33.73-બિટ ઓછી ગુણવત્તા11.8 GB6–10
Muse Glimmer 30B29.6B · ઇન્ટેલિજન્સ 17.52-બિટ ઓછી ગુણવત્તા9.3 GB7–13
Gemma 4 31B30.7B · ઇન્ટેલિજન્સ 14.72-બિટ ઓછી ગુણવત્તા9.6 GB7–13
Granite 4.2 30B30B · ઇન્ટેલિજન્સ 12.72-બિટ ઓછી ગુણવત્તા9.4 GB7–13
Qwen3.6 27B27B3-બિટ ઓછી ગુણવત્તા11.8 GB6–10
Devstral Small 2 (24B)24B3-બિટ ઓછી ગુણવત્તા10.5 GB6–11
Magistral Small 1.2 (2509)24B3-બિટ ઓછી ગુણવત્તા10.5 GB6–11
Mistral Small 3.2 (24B)24B3-બિટ ઓછી ગુણવત્તા10.5 GB6–11

માંડ માંડ સમાય છે 1

લગભગ આખી મેમરી જોઈએ: GPU મેમરીની મર્યાદા વધારો અને કૉન્ટેક્સ્ટ ટૂંકો રાખો.

મૉડલવર્ઝનમેમરીટોકન/સેકન્ડ
gpt-oss-20b21B · 3.6B સક્રિય · ઇન્ટેલિજન્સ 9નેટિવ 4.25-બિટ13.8 GB36–63

બહુ મોટાં 35

18 GB કરતાં વધુ મેમરી જોઈએ, 2 બિટ પર પણ.

બીજાં Mac

18 GBવાળું દરેક Mac, કોઈ પણ ચિપ સાથે.

ઓછી કે વધુ મેમરીવાળું M3 Pro:

નજીકની ચિપ:

સામસામે:

તેની સરખામણી કોઈ પણ Mac કે GPU સાથે કરો · લોકલ AI માટે M3 Pro · લોકલ LLM માટે શ્રેષ્ઠ Mac · દરેક Mac

પ્રશ્નો

18 GBવાળા M3 Pro માટે શ્રેષ્ઠ LLM કયું છે?
જે મૉડલનો Intelligence Index પ્રકાશિત છે, તેમાંથી અહીં સારાં ચાલતાં મૉડલમાં MiniCPM5 2Bનો સ્કોર સૌથી ઊંચો છે: 8-બિટ, સેકન્ડના આશરે 25–44 ટોકન. સારું ચાલતું સૌથી મોટું મૉડલ Gemma 4 12B Unified છે.
શું 18 GBવાળું M3 Pro Llama 3.3 70B ચલાવી શકે?
ના: 2 બિટ પર પણ તેને GPU ડિફૉલ્ટ રીતે વાપરી શકે તે 14 GB કરતાં વધુ જોઈએ.
M3 Pro પર gpt-oss-20b કેટલું ઝડપી ચાલે છે?
સેકન્ડના આશરે 36–63 ટોકન (નેટિવ 4.25-બિટ), ચિપની 150 GB/s મેમરી બૅન્ડવિડ્થના આધારે.

આ મૉડલ MLX Harness (મફત, ઓપન સોર્સ) વડે અથવા Terminalમાં Appleના mlx-lm વડે ચલાવો: સ્ટેપ બાય સ્ટેપ.

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.

18 GBવાળું M3 Pro કયાં LLM ચલાવી શકે? દરેક મૉડલ, ઝડપ સાથે