LLM ipi ni bora kwa Mac yenye GB 8?

Miongoni mwa modeli zenye Intelligence Index iliyochapishwa, MiniCPM5 2B ina alama ya juu zaidi kati ya zile zinazoenda vizuri ndani ya GB 8 (8-bit). Kubwa zaidi inayoenda vizuri ni Granite 4.2 8B.

Je, GB 8 zinatosha kwa AI ya ndani kwenye Mac?

Modeli huria 16 kati ya 73 zilizo hapa zinaenda vizuri ndani yake kwa biti 4 au zaidi. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban GB 6 kati yake; modeli na context yake lazima zitoshe humo.

Je, Mac ya GB 8 inaweza kuendesha gpt-oss-20b?

Hapana: inahitaji zaidi ya GB 6 ambazo GPU inaweza kutumia kwa chaguo-msingi.

LLM bora za ndani kwa Mac ya GB 8 (M1 hadi M3)

Mac zenye GB 8

Chipu 3 kuanzia M1 hadi M3 huja na GB 8. Fungua yoyote kuona orodha na kasi zake.

Zinaenda vizuri 21

Inatosha na kubakiza nafasi ya context, kwa tokeni 10 au zaidi kwa sekunde kwenye M2.

Modeli	Toleo	Kumbukumbu	M1	M2
MiniCPM5 2B2.52B · Akili 12.5	8-bit	2.7 GB	11–20	17–30
Granite 4.2 8B8B · Akili 11.1	4-bit	4.5 GB	7–12	10–18
Granite 4.2 3B3B · Akili 9.1	8-bit	3.2 GB	10–17	14–25
Gemma 4 E4B8B · Akili 8.9	4-bit	4.5 GB	12–22	18–32
Nemotron 3 Nano 4B3.97B · Akili 4.8	8-bit	4.2 GB	10–17	11–19
Llama 3.1 8B Instruct8B	4-bit	4.5 GB	7–12	10–18
Gemma 4 E2B5.1B	6-bit	4.1 GB	16–29	24–42
Qwen3.5 4B4B	8-bit	4.3 GB	13–24	10–19
Phi-4 mini instruct3.8B	8-bit	4 GB	10–18	11–20
Llama 3.2 3B Instruct3.21B	8-bit	3.4 GB	12–21	13–24
SmolLM3 3B3B	8-bit	3.2 GB	10–17	14–25
LFM2.5 2.6B2.69B	8-bit	2.9 GB	11–19	16–28
Qwen3.5 2B2B	8-bit	2.1 GB	15–26	21–38
Llama 3.2 1B Instruct1.23B	8-bit	1.3 GB	24–42	35–62
Qwen3.5 0.8B0.8B	8-bit	0.9 GB	34–60	50–89
Qwen3 0.6B0.6B	8-bit	0.6 GB	51–91	75–133
Qwen3.5 9B9B · Akili 11.2	3-bit ubora wa chini	3.9 GB	8–14	12–21
Ministral 3 8B8.9B · Akili 5.5	3-bit ubora wa chini	3.9 GB	8–14	12–21
Phi-4 (14B)14B	2-bit ubora wa chini	4.4 GB	7–12	10–18
Gemma 4 12B Unified12B	2-bit ubora wa chini	3.7 GB	8–15	12–22
Qwen3 8B8.2B	3-bit ubora wa chini	3.6 GB	9–15	13–22

Zinatosha kwa shida 1

Inahitaji karibu kumbukumbu yote: ongeza kikomo cha kumbukumbu ya GPU na weka context fupi.

Modeli	Toleo	Kumbukumbu	M1	M2
Phi-4 Reasoning Vision 15B15B	2-bit ubora wa chini	4.7 GB	7–12	10–17

Kubwa mno 51

Inahitaji kumbukumbu zaidi ya GB 8, hata kwa biti 2.

Maswali

LLM ipi ni bora kwa Mac yenye GB 8?: Miongoni mwa modeli zenye Intelligence Index iliyochapishwa, MiniCPM5 2B ina alama ya juu zaidi kati ya zile zinazoenda vizuri ndani ya GB 8 (8-bit). Kubwa zaidi inayoenda vizuri ni Granite 4.2 8B.
Je, GB 8 zinatosha kwa AI ya ndani kwenye Mac?: Modeli huria 16 kati ya 73 zilizo hapa zinaenda vizuri ndani yake kwa biti 4 au zaidi. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban GB 6 kati yake; modeli na context yake lazima zitoshe humo.
Je, Mac ya GB 8 inaweza kuendesha gpt-oss-20b?: Hapana: inahitaji zaidi ya GB 6 ambazo GPU inaweza kutumia kwa chaguo-msingi.

Ukubwa mwingine: 8 GB · 16 GB · 18 GB · 24 GB · 32 GB · 36 GB · 48 GB · 64 GB · 96 GB · 128 GB · 192 GB · 256 GB · 512 GB

Ziendeshe kwa MLX Harness (bure, open source) au mlx-lm ya Apple ndani ya Terminal: hatua kwa hatua.

Jinsi inavyokokotolewa

Kumbukumbu: vigezo vya modeli kwa biti 8, 6, 4, 3 au 2 kwa kila weight pamoja na group scales za MLX (nusu biti kwa kila weight), au muundo wake asili, pamoja na nafasi ya context juu yake. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban 75% ya unified memory. Kasi: bandwidth ya kumbukumbu ikigawanywa kwa baiti zinazosomwa kwa kila tokeni ndiyo kikomo cha juu kwa mazungumzo moja; katika benchmarks za umma za llama.cpp kwenye Apple Silicon uendeshaji halisi hufikia takriban 45% hadi 80% yake, na huo ndio upana unaoonyeshwa. Haya ni makadirio, si vipimo: pima Mac yako mwenyewe kwenye MLX Bench. Takwimu za modeli ni kutoka kwa kadi rasmi ya kila modeli, takwimu za chipu ni kutoka Tech Specs za Apple. Imekaguliwa 2026-10-19. Data ileile ya mlx.app/compare.