લૉગ ઇનવૉલેટ બનાવો

24 GBવાળું M6 શું ચલાવી શકે?

તેના પર 73માંથી 24 ઓપન મૉડલ સારાં ચાલે છે. ડિફૉલ્ટ રીતે GPU તેની 24 GBમાંથી આશરે 18 GB વાપરી શકે છે, અને તે 170 GB/sની ઝડપે મેમરી વાંચે છે, જેનાથી તે કેટલું ઝડપી લખે છે તે નક્કી થાય છે. આમાં મળે છે: Mac mini (M6 or M5 Pro).

સારું ચાલતું સૌથી સ્માર્ટMiniCPM5 2B8-બિટ · 2.7 GB · 28–50 tok/sસારું ચાલતું સૌથી મોટુંGemma 4 26B A4B4-બિટ · 14.2 GB · 36–65 tok/s

સારાં ચાલે છે 29

કૉન્ટેક્સ્ટ માટે જગ્યા સાથે સમાય છે, સેકન્ડના 10 કે વધુ ટોકનની ઝડપે.

મૉડલવર્ઝનમેમરીટોકન/સેકન્ડ
MiniCPM5 2B2.52B · ઇન્ટેલિજન્સ 12.58-બિટ2.7 GB28–50
Qwen3.5 9B9B · ઇન્ટેલિજન્સ 11.26-બિટ7.3 GB10–19
Granite 4.2 8B8B · ઇન્ટેલિજન્સ 11.16-બિટ6.5 GB12–21
Granite 4.2 3B3B · ઇન્ટેલિજન્સ 9.18-બિટ3.2 GB24–43
gpt-oss-20b21B · 3.6B સક્રિય · ઇન્ટેલિજન્સ 9નેટિવ 4.25-બિટ13.8 GB40–72
Gemma 4 E4B8B · ઇન્ટેલિજન્સ 8.98-બિટ8.5 GB16–28
Ministral 3 8B8.9B · ઇન્ટેલિજન્સ 5.56-બિટ7.2 GB11–19
Nemotron 3 Nano 4B3.97B · ઇન્ટેલિજન્સ 4.88-બિટ4.2 GB18–32
Gemma 4 26B A4B25.2B · 3.8B સક્રિય4-બિટ14.2 GB36–65
LFM2.5 24B A2B24B · 2B સક્રિય4-બિટ13.5 GB70–124
Phi-4 (14B)14B4-બિટ7.9 GB10–17
Gemma 4 12B Unified12B4-બિટ6.7 GB11–20
Qwen3 8B8.2B6-બિટ6.7 GB11–20
Llama 3.1 8B Instruct8B6-બિટ6.5 GB12–21
Gemma 4 E2B5.1B8-બિટ5.4 GB32–57
Qwen3.5 4B4B8-બિટ4.3 GB18–32
Phi-4 mini instruct3.8B8-બિટ4 GB19–34
Llama 3.2 3B Instruct3.21B8-બિટ3.4 GB23–40
SmolLM3 3B3B8-બિટ3.2 GB24–43
LFM2.5 2.6B2.69B8-બિટ2.9 GB26–47
Qwen3.5 2B2B8-બિટ2.1 GB36–65
Llama 3.2 1B Instruct1.23B8-બિટ1.3 GB59–105
Qwen3.5 0.8B0.8B8-બિટ0.9 GB85–151
Qwen3 0.6B0.6B8-બિટ0.6 GB128–227
Qwen3.6 35B A3B35B · 3B સક્રિય · ઇન્ટેલિજન્સ 18.23-બિટ ઓછી ગુણવત્તા15.3 GB59–105
Nemotron 3.5 Lightning 30B A3B30B · 3B સક્રિય · ઇન્ટેલિજન્સ 12.93-બિટ ઓછી ગુણવત્તા13.1 GB59–105
Nemotron 3 Nano 30B A3B30B · 3.5B સક્રિય · ઇન્ટેલિજન્સ 8.93-બિટ ઓછી ગુણવત્તા13.1 GB51–91
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B સક્રિય3-બિટ ઓછી ગુણવત્તા13.3 GB55–97
GLM-4.7 Flash30B · 3B સક્રિય3-બિટ ઓછી ગુણવત્તા13.1 GB59–105

ચાલે છે, પણ ધીમે 9

સમાય છે, પણ સેકન્ડના 10 ટોકનથી ઓછી ઝડપે: બૅચ કામ માટે બરાબર, ચૅટ માટે ધીમાં.

મૉડલવર્ઝનમેમરીટોકન/સેકન્ડ
Qwen3.8 27B27B · ઇન્ટેલિજન્સ 33.74-બિટ15.2 GB5–9
Qwen3.6 27B27B4-બિટ15.2 GB5–9
Devstral Small 2 (24B)24B4-બિટ13.5 GB6–10
Magistral Small 1.2 (2509)24B4-બિટ13.5 GB6–10
Mistral Small 3.2 (24B)24B4-બિટ13.5 GB6–10
Phi-4 Reasoning Vision 15B15B8-બિટ15.9 GB5–9
Muse Glimmer 30B29.6B · ઇન્ટેલિજન્સ 17.53-બિટ ઓછી ગુણવત્તા13 GB6–10
Gemma 4 31B30.7B · ઇન્ટેલિજન્સ 14.73-બિટ ઓછી ગુણવત્તા13.4 GB6–10
Granite 4.2 30B30B · ઇન્ટેલિજન્સ 12.73-બિટ ઓછી ગુણવત્તા13.1 GB6–10

બહુ મોટાં 35

24 GB કરતાં વધુ મેમરી જોઈએ, 2 બિટ પર પણ.

બીજાં Mac

24 GBવાળું દરેક Mac, કોઈ પણ ચિપ સાથે.

ઓછી કે વધુ મેમરીવાળું M6:

નજીકની ચિપ:

સામસામે:

તેની સરખામણી કોઈ પણ Mac કે GPU સાથે કરો · લોકલ AI માટે M6 · લોકલ LLM માટે શ્રેષ્ઠ Mac · દરેક Mac

પ્રશ્નો

24 GBવાળા M6 માટે શ્રેષ્ઠ LLM કયું છે?
જે મૉડલનો Intelligence Index પ્રકાશિત છે, તેમાંથી અહીં સારાં ચાલતાં મૉડલમાં MiniCPM5 2Bનો સ્કોર સૌથી ઊંચો છે: 8-બિટ, સેકન્ડના આશરે 28–50 ટોકન. સારું ચાલતું સૌથી મોટું મૉડલ Gemma 4 26B A4B છે.
શું 24 GBવાળું M6 Llama 3.3 70B ચલાવી શકે?
ના: 2 બિટ પર પણ તેને GPU ડિફૉલ્ટ રીતે વાપરી શકે તે 18 GB કરતાં વધુ જોઈએ.
M6 પર gpt-oss-20b કેટલું ઝડપી ચાલે છે?
સેકન્ડના આશરે 40–72 ટોકન (નેટિવ 4.25-બિટ), ચિપની 170 GB/s મેમરી બૅન્ડવિડ્થના આધારે.

આ મૉડલ MLX Harness (મફત, ઓપન સોર્સ) વડે અથવા Terminalમાં Appleના mlx-lm વડે ચલાવો: સ્ટેપ બાય સ્ટેપ.

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.

24 GBવાળું M6 કયાં LLM ચલાવી શકે? દરેક મૉડલ, ઝડપ સાથે