LLM ipi ni bora kwa Mac yenye GB 32?

Miongoni mwa modeli zenye Intelligence Index iliyochapishwa, Qwen3.8 27B ina alama ya juu zaidi kati ya zile zinazoenda vizuri ndani ya GB 32 (4-bit). Kubwa zaidi inayoenda vizuri ni Qwen3.6 35B A3B. Kwa code: Qwen3 Coder 30B A3B Instruct.

Je, GB 32 zinatosha kwa AI ya ndani kwenye Mac?

Modeli huria 38 kati ya 73 zilizo hapa zinaenda vizuri ndani yake kwa biti 4 au zaidi. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban GB 24 kati yake; modeli na context yake lazima zitoshe humo.

Je, Mac ya GB 32 inaweza kuendesha gpt-oss-20b?

Ndiyo, 4.25-bit asili, kwa takriban tokeni 28–51 kwa sekunde kwenye M4 na 95–168 kwenye M1 Max.

LLM bora za ndani kwa Mac ya GB 32 (M1 hadi M6)

Mac zenye GB 32

Chipu 7 kuanzia M1 hadi M6 huja na GB 32. Fungua yoyote kuona orodha na kasi zake.

Zinaenda vizuri 38

Inatosha na kubakiza nafasi ya context, kwa tokeni 10 au zaidi kwa sekunde kwenye M1 Max.

Modeli	Toleo	Kumbukumbu	M4	M1 Max
Qwen3.8 27B27B · Akili 33.7	4-bit	15.2 GB	2–4	12–21
Qwen3.6 35B A3B35B · 3B zinazotumika · Akili 18.2	4-bit	19.7 GB	32–56	106–188
Muse Glimmer 30B29.6B · Akili 17.5	4-bit	16.7 GB	3–6	11–19
Gemma 4 31B30.7B · Akili 14.7	4-bit	17.3 GB	3–6	10–18
Nemotron 3.5 Lightning 30B A3B30B · 3B zinazotumika · Akili 12.9	4-bit	16.9 GB	32–56	106–188
Granite 4.2 30B30B · Akili 12.7	4-bit	16.9 GB	3–6	11–19
MiniCPM5 2B2.52B · Akili 12.5	8-bit	2.7 GB	20–36	67–119
Qwen3.5 9B9B · Akili 11.2	8-bit	9.6 GB	11–19	19–33
Granite 4.2 8B8B · Akili 11.1	8-bit	8.5 GB	12–21	21–38
Granite 4.2 3B3B · Akili 9.1	8-bit	3.2 GB	17–30	56–100
gpt-oss-20b21B · 3.6B zinazotumika · Akili 9	4.25-bit asili	13.8 GB	28–51	95–168
Nemotron 3 Nano 30B A3B30B · 3.5B zinazotumika · Akili 8.9	4-bit	16.9 GB	27–48	90–160
Gemma 4 E4B8B · Akili 8.9	8-bit	8.5 GB	11–20	38–67
Ministral 3 8B8.9B · Akili 5.5	8-bit	9.5 GB	11–19	19–34
Nemotron 3 Nano 4B3.97B · Akili 4.8	8-bit	4.2 GB	13–23	43–76
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B zinazotumika	4-bit	17.2 GB	28–51	95–168
GLM-4.7 Flash30B · 3B zinazotumika	4-bit	16.9 GB	32–56	106–188
Qwen3.6 27B27B	4-bit	15.2 GB	2–4	12–21
Gemma 4 26B A4B25.2B · 3.8B zinazotumika	6-bit	20.5 GB	17–31	58–103
Devstral Small 2 (24B)24B	4-bit	13.5 GB	3–5	13–24
Magistral Small 1.2 (2509)24B	4-bit	13.5 GB	3–5	13–24
Mistral Small 3.2 (24B)24B	4-bit	13.5 GB	3–5	13–24
LFM2.5 24B A2B24B · 2B zinazotumika	6-bit	19.5 GB	34–60	113–200
Phi-4 Reasoning Vision 15B15B	8-bit	15.9 GB	3–6	11–20
Phi-4 (14B)14B	8-bit	14.9 GB	4–6	12–21
Gemma 4 12B Unified12B	8-bit	12.7 GB	4–8	14–25
Qwen3 8B8.2B	8-bit	8.7 GB	12–21	21–37
Llama 3.1 8B Instruct8B	8-bit	8.5 GB	12–21	21–38
Gemma 4 E2B5.1B	8-bit	5.4 GB	23–40	75–133
Qwen3.5 4B4B	8-bit	4.3 GB	13–22	42–74
Phi-4 mini instruct3.8B	8-bit	4 GB	14–24	45–80
Llama 3.2 3B Instruct3.21B	8-bit	3.4 GB	16–28	53–94
SmolLM3 3B3B	8-bit	3.2 GB	17–30	56–100
LFM2.5 2.6B2.69B	8-bit	2.9 GB	19–33	62–110
Qwen3.5 2B2B	8-bit	2.1 GB	26–46	86–152
Llama 3.2 1B Instruct1.23B	8-bit	1.3 GB	42–74	138–246
Qwen3.5 0.8B0.8B	8-bit	0.9 GB	60–107	200–356
Qwen3 0.6B0.6B	8-bit	0.6 GB	90–160	300–533

Zinaenda, lakini polepole 1

Inatosha, lakini chini ya tokeni 10 kwa sekunde: sawa kwa kazi za kundi, polepole kwa mazungumzo.

Modeli	Toleo	Kumbukumbu	M4	M1 Max
Llama 3.3 70B Instruct70B	2-bit ubora wa chini	21.9 GB	2–4	8–15

Zinatosha kwa shida 2

Inahitaji karibu kumbukumbu yote: ongeza kikomo cha kumbukumbu ya GPU na weka context fupi.

Modeli	Toleo	Kumbukumbu	M4	M1 Max
Nemotron 3.5 Bolt 74B A9B74B · 9B zinazotumika · Akili 21.4	2-bit ubora wa chini	23.1 GB	19–34	64–114
Qwen3 Coder Next80B · 3B zinazotumika · Akili 9.2	2-bit ubora wa chini	25 GB	60–107	200–356

Maswali

LLM ipi ni bora kwa Mac yenye GB 32?: Miongoni mwa modeli zenye Intelligence Index iliyochapishwa, Qwen3.8 27B ina alama ya juu zaidi kati ya zile zinazoenda vizuri ndani ya GB 32 (4-bit). Kubwa zaidi inayoenda vizuri ni Qwen3.6 35B A3B. Kwa code: Qwen3 Coder 30B A3B Instruct.
Je, GB 32 zinatosha kwa AI ya ndani kwenye Mac?: Modeli huria 38 kati ya 73 zilizo hapa zinaenda vizuri ndani yake kwa biti 4 au zaidi. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban GB 24 kati yake; modeli na context yake lazima zitoshe humo.
Je, Mac ya GB 32 inaweza kuendesha gpt-oss-20b?: Ndiyo, 4.25-bit asili, kwa takriban tokeni 28–51 kwa sekunde kwenye M4 na 95–168 kwenye M1 Max.

Ukubwa mwingine: 8 GB · 16 GB · 18 GB · 24 GB · 32 GB · 36 GB · 48 GB · 64 GB · 96 GB · 128 GB · 192 GB · 256 GB · 512 GB

Ziendeshe kwa MLX Harness (bure, open source) au mlx-lm ya Apple ndani ya Terminal: hatua kwa hatua.

Jinsi inavyokokotolewa

Kumbukumbu: vigezo vya modeli kwa biti 8, 6, 4, 3 au 2 kwa kila weight pamoja na group scales za MLX (nusu biti kwa kila weight), au muundo wake asili, pamoja na nafasi ya context juu yake. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban 75% ya unified memory. Kasi: bandwidth ya kumbukumbu ikigawanywa kwa baiti zinazosomwa kwa kila tokeni ndiyo kikomo cha juu kwa mazungumzo moja; katika benchmarks za umma za llama.cpp kwenye Apple Silicon uendeshaji halisi hufikia takriban 45% hadi 80% yake, na huo ndio upana unaoonyeshwa. Haya ni makadirio, si vipimo: pima Mac yako mwenyewe kwenye MLX Bench. Takwimu za modeli ni kutoka kwa kadi rasmi ya kila modeli, takwimu za chipu ni kutoka Tech Specs za Apple. Imekaguliwa 2026-10-19. Data ileile ya mlx.app/compare.

LLM bora kwa Mac ya GB 32.