LLM ipi ni bora kwa Mac yenye GB 16?

Miongoni mwa modeli zenye Intelligence Index iliyochapishwa, MiniCPM5 2B ina alama ya juu zaidi kati ya zile zinazoenda vizuri ndani ya GB 16 (8-bit). Kubwa zaidi inayoenda vizuri ni Phi-4 Reasoning Vision 15B.

Je, GB 16 zinatosha kwa AI ya ndani kwenye Mac?

Modeli huria 22 kati ya 73 zilizo hapa zinaenda vizuri ndani yake kwa biti 4 au zaidi. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban GB 12 kati yake; modeli na context yake lazima zitoshe humo.

Je, Mac ya GB 16 inaweza kuendesha gpt-oss-20b?

Ndiyo, 3-bit, kwa takriban tokeni 19–34 kwa sekunde kwenye M1 na 56–100 kwenye M1 Pro.

LLM bora za ndani kwa Mac ya GB 16 (M1 hadi M6)

Mac zenye GB 16

Chipu 8 kuanzia M1 hadi M6 huja na GB 16. Fungua yoyote kuona orodha na kasi zake.

Zinaenda vizuri 33

Inatosha na kubakiza nafasi ya context, kwa tokeni 10 au zaidi kwa sekunde kwenye M1 Pro.

Modeli	Toleo	Kumbukumbu	M1	M1 Pro
MiniCPM5 2B2.52B · Akili 12.5	8-bit	2.7 GB	11–20	33–59
Qwen3.5 9B9B · Akili 11.2	6-bit	7.3 GB	3–6	12–22
Granite 4.2 8B8B · Akili 11.1	8-bit	8.5 GB	4–6	11–19
Granite 4.2 3B3B · Akili 9.1	8-bit	3.2 GB	10–17	28–50
Gemma 4 E4B8B · Akili 8.9	8-bit	8.5 GB	12–22	19–33
Ministral 3 8B8.9B · Akili 5.5	6-bit	7.2 GB	3–6	13–22
Nemotron 3 Nano 4B3.97B · Akili 4.8	8-bit	4.2 GB	10–17	21–38
Phi-4 Reasoning Vision 15B15B	4-bit	8.4 GB	4–6	11–19
Phi-4 (14B)14B	4-bit	7.9 GB	4–7	11–20
Gemma 4 12B Unified12B	4-bit	6.7 GB	3–6	13–24
Qwen3 8B8.2B	8-bit	8.7 GB	4–6	10–18
Llama 3.1 8B Instruct8B	8-bit	8.5 GB	4–6	11–19
Gemma 4 E2B5.1B	8-bit	5.4 GB	13–23	38–67
Qwen3.5 4B4B	8-bit	4.3 GB	13–24	21–37
Phi-4 mini instruct3.8B	8-bit	4 GB	10–18	23–40
Llama 3.2 3B Instruct3.21B	8-bit	3.4 GB	12–21	26–47
SmolLM3 3B3B	8-bit	3.2 GB	10–17	28–50
LFM2.5 2.6B2.69B	8-bit	2.9 GB	11–19	31–55
Qwen3.5 2B2B	8-bit	2.1 GB	15–26	43–76
Llama 3.2 1B Instruct1.23B	8-bit	1.3 GB	24–42	69–123
Qwen3.5 0.8B0.8B	8-bit	0.9 GB	34–60	100–178
Qwen3 0.6B0.6B	8-bit	0.6 GB	51–91	150–267
Qwen3.8 27B27B · Akili 33.7	2-bit ubora wa chini	8.4 GB	4–6	11–19
Muse Glimmer 30B29.6B · Akili 17.5	2-bit ubora wa chini	9.3 GB	3–6	10–17
Nemotron 3.5 Lightning 30B A3B30B · 3B zinazotumika · Akili 12.9	2-bit ubora wa chini	9.4 GB	34–60	100–178
Granite 4.2 30B30B · Akili 12.7	2-bit ubora wa chini	9.4 GB	3–6	10–17
gpt-oss-20b21B · 3.6B zinazotumika · Akili 9	3-bit ubora wa chini	9.2 GB	19–34	56–100
Nemotron 3 Nano 30B A3B30B · 3.5B zinazotumika · Akili 8.9	2-bit ubora wa chini	9.4 GB	28–49	82–145
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B zinazotumika	2-bit ubora wa chini	9.5 GB	31–54	90–160
GLM-4.7 Flash30B · 3B zinazotumika	2-bit ubora wa chini	9.4 GB	34–60	100–178
Qwen3.6 27B27B	2-bit ubora wa chini	8.4 GB	4–6	11–19
Gemma 4 26B A4B25.2B · 3.8B zinazotumika	2-bit ubora wa chini	7.9 GB	26–45	75–133
LFM2.5 24B A2B24B · 2B zinazotumika	3-bit ubora wa chini	10.5 GB	34–60	100–178

Zinaenda, lakini polepole 4

Inatosha, lakini chini ya tokeni 10 kwa sekunde: sawa kwa kazi za kundi, polepole kwa mazungumzo.

Modeli	Toleo	Kumbukumbu	M1	M1 Pro
Gemma 4 31B30.7B · Akili 14.7	2-bit ubora wa chini	9.6 GB	3–6	9–17
Devstral Small 2 (24B)24B	3-bit ubora wa chini	10.5 GB	3–5	9–15
Magistral Small 1.2 (2509)24B	3-bit ubora wa chini	10.5 GB	3–5	9–15
Mistral Small 3.2 (24B)24B	3-bit ubora wa chini	10.5 GB	3–5	9–15

Zinatosha kwa shida 1

Inahitaji karibu kumbukumbu yote: ongeza kikomo cha kumbukumbu ya GPU na weka context fupi.

Modeli	Toleo	Kumbukumbu	M1	M1 Pro
Qwen3.6 35B A3B35B · 3B zinazotumika · Akili 18.2	2-bit ubora wa chini	10.9 GB	34–60	100–178

Maswali

LLM ipi ni bora kwa Mac yenye GB 16?: Miongoni mwa modeli zenye Intelligence Index iliyochapishwa, MiniCPM5 2B ina alama ya juu zaidi kati ya zile zinazoenda vizuri ndani ya GB 16 (8-bit). Kubwa zaidi inayoenda vizuri ni Phi-4 Reasoning Vision 15B.
Je, GB 16 zinatosha kwa AI ya ndani kwenye Mac?: Modeli huria 22 kati ya 73 zilizo hapa zinaenda vizuri ndani yake kwa biti 4 au zaidi. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban GB 12 kati yake; modeli na context yake lazima zitoshe humo.
Je, Mac ya GB 16 inaweza kuendesha gpt-oss-20b?: Ndiyo, 3-bit, kwa takriban tokeni 19–34 kwa sekunde kwenye M1 na 56–100 kwenye M1 Pro.

Ukubwa mwingine: 8 GB · 16 GB · 18 GB · 24 GB · 32 GB · 36 GB · 48 GB · 64 GB · 96 GB · 128 GB · 192 GB · 256 GB · 512 GB

Ziendeshe kwa MLX Harness (bure, open source) au mlx-lm ya Apple ndani ya Terminal: hatua kwa hatua.

Jinsi inavyokokotolewa

Kumbukumbu: vigezo vya modeli kwa biti 8, 6, 4, 3 au 2 kwa kila weight pamoja na group scales za MLX (nusu biti kwa kila weight), au muundo wake asili, pamoja na nafasi ya context juu yake. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban 75% ya unified memory. Kasi: bandwidth ya kumbukumbu ikigawanywa kwa baiti zinazosomwa kwa kila tokeni ndiyo kikomo cha juu kwa mazungumzo moja; katika benchmarks za umma za llama.cpp kwenye Apple Silicon uendeshaji halisi hufikia takriban 45% hadi 80% yake, na huo ndio upana unaoonyeshwa. Haya ni makadirio, si vipimo: pima Mac yako mwenyewe kwenye MLX Bench. Takwimu za modeli ni kutoka kwa kadi rasmi ya kila modeli, takwimu za chipu ni kutoka Tech Specs za Apple. Imekaguliwa 2026-10-19. Data ileile ya mlx.app/compare.

LLM bora kwa Mac ya GB 16.