24 GBવાળા M5 માટે શ્રેષ્ઠ LLM કયું છે?

જે મૉડલનો Intelligence Index પ્રકાશિત છે, તેમાંથી અહીં સારાં ચાલતાં મૉડલમાં MiniCPM5 2Bનો સ્કોર સૌથી ઊંચો છે: 8-બિટ, સેકન્ડના આશરે 26–45 ટોકન. સારું ચાલતું સૌથી મોટું મૉડલ Gemma 4 26B A4B છે.

શું 24 GBવાળું M5 Llama 3.3 70B ચલાવી શકે?

ના: 2 બિટ પર પણ તેને GPU ડિફૉલ્ટ રીતે વાપરી શકે તે 18 GB કરતાં વધુ જોઈએ.

M5 પર gpt-oss-20b કેટલું ઝડપી ચાલે છે?

સેકન્ડના આશરે 36–64 ટોકન (નેટિવ 4.25-બિટ), ચિપની 153 GB/s મેમરી બૅન્ડવિડ્થના આધારે.

24 GBવાળું M5 કયાં LLM ચલાવી શકે? દરેક મૉડલ, ઝડપ સાથે

સારાં ચાલે છે 28

કૉન્ટેક્સ્ટ માટે જગ્યા સાથે સમાય છે, સેકન્ડના 10 કે વધુ ટોકનની ઝડપે.

મૉડલ	વર્ઝન	મેમરી	ટોકન/સેકન્ડ
MiniCPM5 2B2.52B · ઇન્ટેલિજન્સ 12.5	8-બિટ	2.7 GB	26–45
Qwen3.5 9B9B · ઇન્ટેલિજન્સ 11.2	4-બિટ	5.1 GB	14–24
Granite 4.2 8B8B · ઇન્ટેલિજન્સ 11.1	6-બિટ	6.5 GB	11–19
Granite 4.2 3B3B · ઇન્ટેલિજન્સ 9.1	8-બિટ	3.2 GB	22–38
gpt-oss-20b21B · 3.6B સક્રિય · ઇન્ટેલિજન્સ 9	નેટિવ 4.25-બિટ	13.8 GB	36–64
Gemma 4 E4B8B · ઇન્ટેલિજન્સ 8.9	8-બિટ	8.5 GB	14–26
Ministral 3 8B8.9B · ઇન્ટેલિજન્સ 5.5	6-બિટ	7.2 GB	10–17
Nemotron 3 Nano 4B3.97B · ઇન્ટેલિજન્સ 4.8	8-બિટ	4.2 GB	16–29
Gemma 4 26B A4B25.2B · 3.8B સક્રિય	4-બિટ	14.2 GB	33–58
LFM2.5 24B A2B24B · 2B સક્રિય	4-બિટ	13.5 GB	63–111
Gemma 4 12B Unified12B	4-બિટ	6.7 GB	10–18
Qwen3 8B8.2B	6-બિટ	6.7 GB	10–18
Llama 3.1 8B Instruct8B	6-બિટ	6.5 GB	11–19
Gemma 4 E2B5.1B	8-બિટ	5.4 GB	29–51
Qwen3.5 4B4B	8-બિટ	4.3 GB	16–28
Phi-4 mini instruct3.8B	8-બિટ	4 GB	17–31
Llama 3.2 3B Instruct3.21B	8-બિટ	3.4 GB	20–36
SmolLM3 3B3B	8-બિટ	3.2 GB	22–38
LFM2.5 2.6B2.69B	8-બિટ	2.9 GB	24–42
Qwen3.5 2B2B	8-બિટ	2.1 GB	33–58
Llama 3.2 1B Instruct1.23B	8-બિટ	1.3 GB	53–94
Qwen3.5 0.8B0.8B	8-બિટ	0.9 GB	77–136
Qwen3 0.6B0.6B	8-બિટ	0.6 GB	115–204
Qwen3.6 35B A3B35B · 3B સક્રિય · ઇન્ટેલિજન્સ 18.2	3-બિટ ઓછી ગુણવત્તા	15.3 GB	53–94
Nemotron 3.5 Lightning 30B A3B30B · 3B સક્રિય · ઇન્ટેલિજન્સ 12.9	3-બિટ ઓછી ગુણવત્તા	13.1 GB	53–94
Nemotron 3 Nano 30B A3B30B · 3.5B સક્રિય · ઇન્ટેલિજન્સ 8.9	3-બિટ ઓછી ગુણવત્તા	13.1 GB	46–82
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B સક્રિય	3-બિટ ઓછી ગુણવત્તા	13.3 GB	49–87
GLM-4.7 Flash30B · 3B સક્રિય	3-બિટ ઓછી ગુણવત્તા	13.1 GB	53–94

ચાલે છે, પણ ધીમે 10

સમાય છે, પણ સેકન્ડના 10 ટોકનથી ઓછી ઝડપે: બૅચ કામ માટે બરાબર, ચૅટ માટે ધીમાં.

મૉડલ	વર્ઝન	મેમરી	ટોકન/સેકન્ડ
Qwen3.8 27B27B · ઇન્ટેલિજન્સ 33.7	4-બિટ	15.2 GB	5–8
Qwen3.6 27B27B	4-બિટ	15.2 GB	5–8
Devstral Small 2 (24B)24B	4-બિટ	13.5 GB	5–9
Magistral Small 1.2 (2509)24B	4-બિટ	13.5 GB	5–9
Mistral Small 3.2 (24B)24B	4-બિટ	13.5 GB	5–9
Phi-4 Reasoning Vision 15B15B	8-બિટ	15.9 GB	4–8
Phi-4 (14B)14B	8-બિટ	14.9 GB	5–8
Muse Glimmer 30B29.6B · ઇન્ટેલિજન્સ 17.5	3-બિટ ઓછી ગુણવત્તા	13 GB	5–9
Gemma 4 31B30.7B · ઇન્ટેલિજન્સ 14.7	3-બિટ ઓછી ગુણવત્તા	13.4 GB	5–9
Granite 4.2 30B30B · ઇન્ટેલિજન્સ 12.7	3-બિટ ઓછી ગુણવત્તા	13.1 GB	5–9

બહુ મોટાં 35

24 GB કરતાં વધુ મેમરી જોઈએ, 2 બિટ પર પણ.

બીજાં Mac

24 GBવાળું દરેક Mac, કોઈ પણ ચિપ સાથે.

ઓછી કે વધુ મેમરીવાળું M5:

નજીકની ચિપ:

સામસામે:

તેની સરખામણી કોઈ પણ Mac કે GPU સાથે કરો · લોકલ AI માટે M5 · લોકલ LLM માટે શ્રેષ્ઠ Mac · દરેક Mac

પ્રશ્નો

24 GBવાળા M5 માટે શ્રેષ્ઠ LLM કયું છે?: જે મૉડલનો Intelligence Index પ્રકાશિત છે, તેમાંથી અહીં સારાં ચાલતાં મૉડલમાં MiniCPM5 2Bનો સ્કોર સૌથી ઊંચો છે: 8-બિટ, સેકન્ડના આશરે 26–45 ટોકન. સારું ચાલતું સૌથી મોટું મૉડલ Gemma 4 26B A4B છે.
શું 24 GBવાળું M5 Llama 3.3 70B ચલાવી શકે?: ના: 2 બિટ પર પણ તેને GPU ડિફૉલ્ટ રીતે વાપરી શકે તે 18 GB કરતાં વધુ જોઈએ.
M5 પર gpt-oss-20b કેટલું ઝડપી ચાલે છે?: સેકન્ડના આશરે 36–64 ટોકન (નેટિવ 4.25-બિટ), ચિપની 153 GB/s મેમરી બૅન્ડવિડ્થના આધારે.

આ મૉડલ MLX Harness (મફત, ઓપન સોર્સ) વડે અથવા Terminalમાં Appleના mlx-lm વડે ચલાવો: સ્ટેપ બાય સ્ટેપ.

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.