LLM ipi ni bora kwa Mac yenye GB 36?

Miongoni mwa modeli zenye Intelligence Index iliyochapishwa, Qwen3.8 27B ina alama ya juu zaidi kati ya zile zinazoenda vizuri ndani ya GB 36 (4-bit). Kubwa zaidi inayoenda vizuri ni Qwen3.6 35B A3B. Kwa code: Qwen3 Coder 30B A3B Instruct.

Je, GB 36 zinatosha kwa AI ya ndani kwenye Mac?

Modeli huria 38 kati ya 73 zilizo hapa zinaenda vizuri ndani yake kwa biti 4 au zaidi. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban GB 27 kati yake; modeli na context yake lazima zitoshe humo.

Je, Mac ya GB 36 inaweza kuendesha gpt-oss-20b?

Ndiyo, 4.25-bit asili, kwa takriban tokeni 36–63 kwa sekunde kwenye M3 Pro na 109–194 kwenye M5 Max.

LLM bora za ndani kwa Mac ya GB 36 (M3 hadi M5)

Mac zenye GB 36

Chipu 4 kuanzia M3 hadi M5 huja na GB 36. Fungua yoyote kuona orodha na kasi zake.

Zinaenda vizuri 40

Inatosha na kubakiza nafasi ya context, kwa tokeni 10 au zaidi kwa sekunde kwenye M5 Max.

Modeli	Toleo	Kumbukumbu	M3 Pro	M5 Max
Qwen3.8 27B27B · Akili 33.7	4-bit	15.2 GB	3–5	14–24
Qwen3.6 35B A3B35B · 3B zinazotumika · Akili 18.2	4-bit	19.7 GB	40–71	122–216
Muse Glimmer 30B29.6B · Akili 17.5	4-bit	16.7 GB	3–5	12–22
Gemma 4 31B30.7B · Akili 14.7	4-bit	17.3 GB	3–5	12–21
Nemotron 3.5 Lightning 30B A3B30B · 3B zinazotumika · Akili 12.9	6-bit	24.4 GB	28–50	86–153
Granite 4.2 30B30B · Akili 12.7	4-bit	16.9 GB	3–5	12–22
MiniCPM5 2B2.52B · Akili 12.5	8-bit	2.7 GB	25–44	77–136
Qwen3.5 9B9B · Akili 11.2	8-bit	9.6 GB	13–24	22–38
Granite 4.2 8B8B · Akili 11.1	8-bit	8.5 GB	10–18	24–43
Granite 4.2 3B3B · Akili 9.1	8-bit	3.2 GB	21–38	65–115
gpt-oss-20b21B · 3.6B zinazotumika · Akili 9	4.25-bit asili	13.8 GB	36–63	109–194
Nemotron 3 Nano 30B A3B30B · 3.5B zinazotumika · Akili 8.9	6-bit	24.4 GB	24–43	74–131
Gemma 4 E4B8B · Akili 8.9	8-bit	8.5 GB	14–25	43–77
Ministral 3 8B8.9B · Akili 5.5	8-bit	9.5 GB	14–24	22–39
Nemotron 3 Nano 4B3.97B · Akili 4.8	8-bit	4.2 GB	16–29	49–88
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B zinazotumika	6-bit	24.8 GB	25–44	77–136
GLM-4.7 Flash30B · 3B zinazotumika	6-bit	24.4 GB	28–50	86–153
Qwen3.6 27B27B	4-bit	15.2 GB	3–5	14–24
Gemma 4 26B A4B25.2B · 3.8B zinazotumika	6-bit	20.5 GB	22–39	67–119
Devstral Small 2 (24B)24B	6-bit	19.5 GB	3–6	11–19
Magistral Small 1.2 (2509)24B	6-bit	19.5 GB	3–6	11–19
Mistral Small 3.2 (24B)24B	6-bit	19.5 GB	3–6	11–19
LFM2.5 24B A2B24B · 2B zinazotumika	6-bit	19.5 GB	42–75	129–230
Phi-4 Reasoning Vision 15B15B	8-bit	15.9 GB	4–8	13–23
Phi-4 (14B)14B	8-bit	14.9 GB	5–8	14–25
Gemma 4 12B Unified12B	8-bit	12.7 GB	10–18	16–29
Qwen3 8B8.2B	8-bit	8.7 GB	10–18	24–42
Llama 3.1 8B Instruct8B	8-bit	8.5 GB	10–18	24–43
Gemma 4 E2B5.1B	8-bit	5.4 GB	28–50	86–153
Qwen3.5 4B4B	8-bit	4.3 GB	16–28	48–86
Phi-4 mini instruct3.8B	8-bit	4 GB	17–30	52–92
Llama 3.2 3B Instruct3.21B	8-bit	3.4 GB	20–35	61–108
SmolLM3 3B3B	8-bit	3.2 GB	21–38	65–115
LFM2.5 2.6B2.69B	8-bit	2.9 GB	23–41	71–127
Qwen3.5 2B2B	8-bit	2.1 GB	32–57	99–175
Llama 3.2 1B Instruct1.23B	8-bit	1.3 GB	52–92	159–283
Qwen3.5 0.8B0.8B	8-bit	0.9 GB	75–133	230–409
Qwen3 0.6B0.6B	8-bit	0.6 GB	113–200	345–613
Nemotron 3.5 Bolt 74B A9B74B · 9B zinazotumika · Akili 21.4	2-bit ubora wa chini	23.1 GB	24–43	74–131
Qwen3 Coder Next80B · 3B zinazotumika · Akili 9.2	2-bit ubora wa chini	25 GB	75–133	230–409

Zinaenda, lakini polepole 1

Inatosha, lakini chini ya tokeni 10 kwa sekunde: sawa kwa kazi za kundi, polepole kwa mazungumzo.

Modeli	Toleo	Kumbukumbu	M3 Pro	M5 Max
Llama 3.3 70B Instruct70B	2-bit ubora wa chini	21.9 GB	3–5	9–17

Maswali

LLM ipi ni bora kwa Mac yenye GB 36?: Miongoni mwa modeli zenye Intelligence Index iliyochapishwa, Qwen3.8 27B ina alama ya juu zaidi kati ya zile zinazoenda vizuri ndani ya GB 36 (4-bit). Kubwa zaidi inayoenda vizuri ni Qwen3.6 35B A3B. Kwa code: Qwen3 Coder 30B A3B Instruct.
Je, GB 36 zinatosha kwa AI ya ndani kwenye Mac?: Modeli huria 38 kati ya 73 zilizo hapa zinaenda vizuri ndani yake kwa biti 4 au zaidi. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban GB 27 kati yake; modeli na context yake lazima zitoshe humo.
Je, Mac ya GB 36 inaweza kuendesha gpt-oss-20b?: Ndiyo, 4.25-bit asili, kwa takriban tokeni 36–63 kwa sekunde kwenye M3 Pro na 109–194 kwenye M5 Max.

Ukubwa mwingine: 8 GB · 16 GB · 18 GB · 24 GB · 32 GB · 36 GB · 48 GB · 64 GB · 96 GB · 128 GB · 192 GB · 256 GB · 512 GB

Ziendeshe kwa MLX Harness (bure, open source) au mlx-lm ya Apple ndani ya Terminal: hatua kwa hatua.

Jinsi inavyokokotolewa

Kumbukumbu: vigezo vya modeli kwa biti 8, 6, 4, 3 au 2 kwa kila weight pamoja na group scales za MLX (nusu biti kwa kila weight), au muundo wake asili, pamoja na nafasi ya context juu yake. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban 75% ya unified memory. Kasi: bandwidth ya kumbukumbu ikigawanywa kwa baiti zinazosomwa kwa kila tokeni ndiyo kikomo cha juu kwa mazungumzo moja; katika benchmarks za umma za llama.cpp kwenye Apple Silicon uendeshaji halisi hufikia takriban 45% hadi 80% yake, na huo ndio upana unaoonyeshwa. Haya ni makadirio, si vipimo: pima Mac yako mwenyewe kwenye MLX Bench. Takwimu za modeli ni kutoka kwa kadi rasmi ya kila modeli, takwimu za chipu ni kutoka Tech Specs za Apple. Imekaguliwa 2026-10-19. Data ileile ya mlx.app/compare.

LLM bora kwa Mac ya GB 36.