લૉગ ઇનવૉલેટ બનાવો

16 GBવાળું M2 Pro શું ચલાવી શકે?

તેના પર 73માંથી 22 ઓપન મૉડલ સારાં ચાલે છે. ડિફૉલ્ટ રીતે GPU તેની 16 GBમાંથી આશરે 12 GB વાપરી શકે છે, અને તે 200 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે. આમાં મળે છે: MacBook Pro (14-inch, 2023), MacBook Pro (16-inch, 2023), Mac mini (2023).

સારું ચાલતું સૌથી સ્માર્ટMiniCPM5 2B8-બિટ · 2.7 GB · 33–59 tok/sસારું ચાલતું સૌથી મોટુંPhi-4 Reasoning Vision 15B4-બિટ · 8.4 GB · 11–19 tok/s

સારાં ચાલે છે 33

કૉન્ટેક્સ્ટ માટે જગ્યા સાથે સમાય છે, સેકન્ડના 10 કે વધુ ટોકનની ઝડપે.

મૉડલવર્ઝનમેમરીટોકન/સેકન્ડ
MiniCPM5 2B2.52B · ઇન્ટેલિજન્સ 12.58-બિટ2.7 GB33–59
Qwen3.5 9B9B · ઇન્ટેલિજન્સ 11.26-બિટ7.3 GB12–22
Granite 4.2 8B8B · ઇન્ટેલિજન્સ 11.18-બિટ8.5 GB11–19
Granite 4.2 3B3B · ઇન્ટેલિજન્સ 9.18-બિટ3.2 GB28–50
Gemma 4 E4B8B · ઇન્ટેલિજન્સ 8.98-બિટ8.5 GB19–33
Ministral 3 8B8.9B · ઇન્ટેલિજન્સ 5.56-બિટ7.2 GB13–22
Nemotron 3 Nano 4B3.97B · ઇન્ટેલિજન્સ 4.88-બિટ4.2 GB21–38
Phi-4 Reasoning Vision 15B15B4-બિટ8.4 GB11–19
Phi-4 (14B)14B4-બિટ7.9 GB11–20
Gemma 4 12B Unified12B4-બિટ6.7 GB13–24
Qwen3 8B8.2B8-બિટ8.7 GB10–18
Llama 3.1 8B Instruct8B8-બિટ8.5 GB11–19
Gemma 4 E2B5.1B8-બિટ5.4 GB38–67
Qwen3.5 4B4B8-બિટ4.3 GB21–37
Phi-4 mini instruct3.8B8-બિટ4 GB23–40
Llama 3.2 3B Instruct3.21B8-બિટ3.4 GB26–47
SmolLM3 3B3B8-બિટ3.2 GB28–50
LFM2.5 2.6B2.69B8-બિટ2.9 GB31–55
Qwen3.5 2B2B8-બિટ2.1 GB43–76
Llama 3.2 1B Instruct1.23B8-બિટ1.3 GB69–123
Qwen3.5 0.8B0.8B8-બિટ0.9 GB100–178
Qwen3 0.6B0.6B8-બિટ0.6 GB150–267
Qwen3.8 27B27B · ઇન્ટેલિજન્સ 33.72-બિટ ઓછી ગુણવત્તા8.4 GB11–19
Muse Glimmer 30B29.6B · ઇન્ટેલિજન્સ 17.52-બિટ ઓછી ગુણવત્તા9.3 GB10–17
Nemotron 3.5 Lightning 30B A3B30B · 3B સક્રિય · ઇન્ટેલિજન્સ 12.92-બિટ ઓછી ગુણવત્તા9.4 GB100–178
Granite 4.2 30B30B · ઇન્ટેલિજન્સ 12.72-બિટ ઓછી ગુણવત્તા9.4 GB10–17
gpt-oss-20b21B · 3.6B સક્રિય · ઇન્ટેલિજન્સ 93-બિટ ઓછી ગુણવત્તા9.2 GB56–100
Nemotron 3 Nano 30B A3B30B · 3.5B સક્રિય · ઇન્ટેલિજન્સ 8.92-બિટ ઓછી ગુણવત્તા9.4 GB82–145
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B સક્રિય2-બિટ ઓછી ગુણવત્તા9.5 GB90–160
GLM-4.7 Flash30B · 3B સક્રિય2-બિટ ઓછી ગુણવત્તા9.4 GB100–178
Qwen3.6 27B27B2-બિટ ઓછી ગુણવત્તા8.4 GB11–19
Gemma 4 26B A4B25.2B · 3.8B સક્રિય2-બિટ ઓછી ગુણવત્તા7.9 GB75–133
LFM2.5 24B A2B24B · 2B સક્રિય3-બિટ ઓછી ગુણવત્તા10.5 GB100–178

ચાલે છે, પણ ધીમે 4

સમાય છે, પણ સેકન્ડના 10 ટોકનથી ઓછી ઝડપે: બૅચ કામ માટે બરાબર, ચૅટ માટે ધીમાં.

મૉડલવર્ઝનમેમરીટોકન/સેકન્ડ
Gemma 4 31B30.7B · ઇન્ટેલિજન્સ 14.72-બિટ ઓછી ગુણવત્તા9.6 GB9–17
Devstral Small 2 (24B)24B3-બિટ ઓછી ગુણવત્તા10.5 GB9–15
Magistral Small 1.2 (2509)24B3-બિટ ઓછી ગુણવત્તા10.5 GB9–15
Mistral Small 3.2 (24B)24B3-બિટ ઓછી ગુણવત્તા10.5 GB9–15

માંડ માંડ સમાય છે 1

લગભગ આખી મેમરી જોઈએ: GPU મેમરીની મર્યાદા વધારો અને કૉન્ટેક્સ્ટ ટૂંકો રાખો.

મૉડલવર્ઝનમેમરીટોકન/સેકન્ડ
Qwen3.6 35B A3B35B · 3B સક્રિય · ઇન્ટેલિજન્સ 18.22-બિટ ઓછી ગુણવત્તા10.9 GB100–178

બહુ મોટાં 35

16 GB કરતાં વધુ મેમરી જોઈએ, 2 બિટ પર પણ.

બીજાં Mac

16 GBવાળું દરેક Mac, કોઈ પણ ચિપ સાથે.

ઓછી કે વધુ મેમરીવાળું M2 Pro:

નજીકની ચિપ:

સામસામે:

તેની સરખામણી કોઈ પણ Mac કે GPU સાથે કરો · લોકલ AI માટે M2 Pro · લોકલ LLM માટે શ્રેષ્ઠ Mac · દરેક Mac

પ્રશ્નો

16 GBવાળા M2 Pro માટે શ્રેષ્ઠ LLM કયું છે?
જે મૉડલનો Intelligence Index પ્રકાશિત છે, તેમાંથી અહીં સારાં ચાલતાં મૉડલમાં MiniCPM5 2Bનો સ્કોર સૌથી ઊંચો છે: 8-બિટ, સેકન્ડના આશરે 33–59 ટોકન. સારું ચાલતું સૌથી મોટું મૉડલ Phi-4 Reasoning Vision 15B છે.
શું 16 GBવાળું M2 Pro Llama 3.3 70B ચલાવી શકે?
ના: 2 બિટ પર પણ તેને GPU ડિફૉલ્ટ રીતે વાપરી શકે તે 12 GB કરતાં વધુ જોઈએ.
M2 Pro પર gpt-oss-20b કેટલું ઝડપી ચાલે છે?
સેકન્ડના આશરે 56–100 ટોકન (3-બિટ), ચિપની 200 GB/s મેમરી બૅન્ડવિડ્થના આધારે.

આ મૉડલ MLX Harness (મફત, ઓપન સોર્સ) વડે અથવા Terminalમાં Appleના mlx-lm વડે ચલાવો: સ્ટેપ બાય સ્ટેપ.

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.

16 GBવાળું M2 Pro કયાં LLM ચલાવી શકે? દરેક મૉડલ, ઝડપ સાથે