LLM ipi ni bora kwa Mac yenye GB 24?

Miongoni mwa modeli zenye Intelligence Index iliyochapishwa, MiniCPM5 2B ina alama ya juu zaidi kati ya zile zinazoenda vizuri ndani ya GB 24 (8-bit). Kubwa zaidi inayoenda vizuri ni Gemma 4 26B A4B. Kwa code: Devstral Small 2 (24B).

Je, GB 24 zinatosha kwa AI ya ndani kwenye Mac?

Modeli huria 28 kati ya 73 zilizo hapa zinaenda vizuri ndani yake kwa biti 4 au zaidi. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban GB 18 kati yake; modeli na context yake lazima zitoshe humo.

Je, Mac ya GB 24 inaweza kuendesha gpt-oss-20b?

Ndiyo, 4.25-bit asili, kwa takriban tokeni 24–42 kwa sekunde kwenye M3 na 73–129 kwenye M5 Pro.

LLM bora za ndani kwa Mac ya GB 24 (M2 hadi M6)

Mac zenye GB 24

Chipu 7 kuanzia M2 hadi M6 huja na GB 24. Fungua yoyote kuona orodha na kasi zake.

Zinaenda vizuri 36

Inatosha na kubakiza nafasi ya context, kwa tokeni 10 au zaidi kwa sekunde kwenye M5 Pro.

Modeli	Toleo	Kumbukumbu	M3	M5 Pro
MiniCPM5 2B2.52B · Akili 12.5	8-bit	2.7 GB	17–30	51–91
Qwen3.5 9B9B · Akili 11.2	8-bit	9.6 GB	5–8	14–26
Granite 4.2 8B8B · Akili 11.1	8-bit	8.5 GB	10–18	16–29
Granite 4.2 3B3B · Akili 9.1	8-bit	3.2 GB	14–25	43–77
gpt-oss-20b21B · 3.6B zinazotumika · Akili 9	4.25-bit asili	13.8 GB	24–42	73–129
Gemma 4 E4B8B · Akili 8.9	8-bit	8.5 GB	12–22	29–51
Ministral 3 8B8.9B · Akili 5.5	8-bit	9.5 GB	5–8	15–26
Nemotron 3 Nano 4B3.97B · Akili 4.8	8-bit	4.2 GB	11–19	33–58
Gemma 4 26B A4B25.2B · 3.8B zinazotumika	4-bit	14.2 GB	21–38	66–117
Devstral Small 2 (24B)24B	4-bit	13.5 GB	3–6	10–18
Magistral Small 1.2 (2509)24B	4-bit	13.5 GB	3–6	10–18
Mistral Small 3.2 (24B)24B	4-bit	13.5 GB	3–6	10–18
LFM2.5 24B A2B24B · 2B zinazotumika	4-bit	13.5 GB	41–73	126–223
Phi-4 Reasoning Vision 15B15B	6-bit	12.2 GB	3–5	11–20
Phi-4 (14B)14B	6-bit	11.4 GB	3–5	12–22
Gemma 4 12B Unified12B	8-bit	12.7 GB	4–6	11–19
Qwen3 8B8.2B	8-bit	8.7 GB	10–17	16–28
Llama 3.1 8B Instruct8B	8-bit	8.5 GB	10–18	16–29
Gemma 4 E2B5.1B	8-bit	5.4 GB	19–33	58–102
Qwen3.5 4B4B	8-bit	4.3 GB	10–19	32–57
Phi-4 mini instruct3.8B	8-bit	4 GB	11–20	35–61
Llama 3.2 3B Instruct3.21B	8-bit	3.4 GB	13–24	41–72
SmolLM3 3B3B	8-bit	3.2 GB	14–25	43–77
LFM2.5 2.6B2.69B	8-bit	2.9 GB	16–28	48–85
Qwen3.5 2B2B	8-bit	2.1 GB	21–38	66–117
Llama 3.2 1B Instruct1.23B	8-bit	1.3 GB	35–62	106–189
Qwen3.5 0.8B0.8B	8-bit	0.9 GB	50–89	154–273
Qwen3 0.6B0.6B	8-bit	0.6 GB	75–133	230–409
Qwen3.6 35B A3B35B · 3B zinazotumika · Akili 18.2	3-bit ubora wa chini	15.3 GB	35–62	106–189
Muse Glimmer 30B29.6B · Akili 17.5	3-bit ubora wa chini	13 GB	3–6	11–19
Gemma 4 31B30.7B · Akili 14.7	3-bit ubora wa chini	13.4 GB	3–6	10–18
Nemotron 3.5 Lightning 30B A3B30B · 3B zinazotumika · Akili 12.9	3-bit ubora wa chini	13.1 GB	35–62	106–189
Granite 4.2 30B30B · Akili 12.7	3-bit ubora wa chini	13.1 GB	3–6	11–19
Nemotron 3 Nano 30B A3B30B · 3.5B zinazotumika · Akili 8.9	3-bit ubora wa chini	13.1 GB	30–53	92–164
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B zinazotumika	3-bit ubora wa chini	13.3 GB	32–57	99–175
GLM-4.7 Flash30B · 3B zinazotumika	3-bit ubora wa chini	13.1 GB	35–62	106–189

Zinaenda, lakini polepole 2

Inatosha, lakini chini ya tokeni 10 kwa sekunde: sawa kwa kazi za kundi, polepole kwa mazungumzo.

Modeli	Toleo	Kumbukumbu	M3	M5 Pro
Qwen3.8 27B27B · Akili 33.7	4-bit	15.2 GB	3–5	9–16
Qwen3.6 27B27B	4-bit	15.2 GB	3–5	9–16

Maswali

LLM ipi ni bora kwa Mac yenye GB 24?: Miongoni mwa modeli zenye Intelligence Index iliyochapishwa, MiniCPM5 2B ina alama ya juu zaidi kati ya zile zinazoenda vizuri ndani ya GB 24 (8-bit). Kubwa zaidi inayoenda vizuri ni Gemma 4 26B A4B. Kwa code: Devstral Small 2 (24B).
Je, GB 24 zinatosha kwa AI ya ndani kwenye Mac?: Modeli huria 28 kati ya 73 zilizo hapa zinaenda vizuri ndani yake kwa biti 4 au zaidi. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban GB 18 kati yake; modeli na context yake lazima zitoshe humo.
Je, Mac ya GB 24 inaweza kuendesha gpt-oss-20b?: Ndiyo, 4.25-bit asili, kwa takriban tokeni 24–42 kwa sekunde kwenye M3 na 73–129 kwenye M5 Pro.

Ukubwa mwingine: 8 GB · 16 GB · 18 GB · 24 GB · 32 GB · 36 GB · 48 GB · 64 GB · 96 GB · 128 GB · 192 GB · 256 GB · 512 GB

Ziendeshe kwa MLX Harness (bure, open source) au mlx-lm ya Apple ndani ya Terminal: hatua kwa hatua.

Jinsi inavyokokotolewa

Kumbukumbu: vigezo vya modeli kwa biti 8, 6, 4, 3 au 2 kwa kila weight pamoja na group scales za MLX (nusu biti kwa kila weight), au muundo wake asili, pamoja na nafasi ya context juu yake. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban 75% ya unified memory. Kasi: bandwidth ya kumbukumbu ikigawanywa kwa baiti zinazosomwa kwa kila tokeni ndiyo kikomo cha juu kwa mazungumzo moja; katika benchmarks za umma za llama.cpp kwenye Apple Silicon uendeshaji halisi hufikia takriban 45% hadi 80% yake, na huo ndio upana unaoonyeshwa. Haya ni makadirio, si vipimo: pima Mac yako mwenyewe kwenye MLX Bench. Takwimu za modeli ni kutoka kwa kadi rasmi ya kila modeli, takwimu za chipu ni kutoka Tech Specs za Apple. Imekaguliwa 2026-10-19. Data ileile ya mlx.app/compare.

LLM bora kwa Mac ya GB 24.