LLM ipi ni bora kwa M2 yenye GB 8?

Miongoni mwa modeli zenye Intelligence Index iliyochapishwa, MiniCPM5 2B ina alama ya juu zaidi kati ya zile zinazoenda vizuri hapa: 8-bit, takriban tokeni 17–30 kwa sekunde. Kubwa zaidi inayoenda vizuri ni Granite 4.2 8B.

Je, M2 yenye GB 8 inaweza kuendesha Llama 3.3 70B?

Hapana: hata kwa biti 2 inahitaji zaidi ya GB 6 ambazo GPU inaweza kutumia kwa chaguo-msingi.

M2 yenye GB 8 inaendesha LLM zipi? Modeli na kasi

Zinaenda vizuri 21

Inatosha na kubakiza nafasi ya context, kwa tokeni 10 au zaidi kwa sekunde.

Modeli	Toleo	Kumbukumbu	Tokeni/s
MiniCPM5 2B2.52B · Akili 12.5	8-bit	2.7 GB	17–30
Granite 4.2 8B8B · Akili 11.1	4-bit	4.5 GB	10–18
Granite 4.2 3B3B · Akili 9.1	8-bit	3.2 GB	14–25
Gemma 4 E4B8B · Akili 8.9	4-bit	4.5 GB	18–32
Nemotron 3 Nano 4B3.97B · Akili 4.8	8-bit	4.2 GB	11–19
Llama 3.1 8B Instruct8B	4-bit	4.5 GB	10–18
Gemma 4 E2B5.1B	6-bit	4.1 GB	24–42
Qwen3.5 4B4B	8-bit	4.3 GB	10–19
Phi-4 mini instruct3.8B	8-bit	4 GB	11–20
Llama 3.2 3B Instruct3.21B	8-bit	3.4 GB	13–24
SmolLM3 3B3B	8-bit	3.2 GB	14–25
LFM2.5 2.6B2.69B	8-bit	2.9 GB	16–28
Qwen3.5 2B2B	8-bit	2.1 GB	21–38
Llama 3.2 1B Instruct1.23B	8-bit	1.3 GB	35–62
Qwen3.5 0.8B0.8B	8-bit	0.9 GB	50–89
Qwen3 0.6B0.6B	8-bit	0.6 GB	75–133
Qwen3.5 9B9B · Akili 11.2	3-bit ubora wa chini	3.9 GB	12–21
Ministral 3 8B8.9B · Akili 5.5	3-bit ubora wa chini	3.9 GB	12–21
Phi-4 (14B)14B	2-bit ubora wa chini	4.4 GB	10–18
Gemma 4 12B Unified12B	2-bit ubora wa chini	3.7 GB	12–22
Qwen3 8B8.2B	3-bit ubora wa chini	3.6 GB	13–22

Zinatosha kwa shida 1

Inahitaji karibu kumbukumbu yote: ongeza kikomo cha kumbukumbu ya GPU na weka context fupi.

Modeli	Toleo	Kumbukumbu	Tokeni/s
Phi-4 Reasoning Vision 15B15B	2-bit ubora wa chini	4.7 GB	10–17

Kubwa mno 51

Inahitaji kumbukumbu zaidi ya GB 8, hata kwa biti 2.

Mac nyingine

Kila Mac yenye GB 8, ya chipu yoyote.

M2 yenye kumbukumbu zaidi au kidogo:

Chipu jirani:

Ana kwa ana:

Ilinganishe na Mac au GPU yoyote · M2 kwa AI ya ndani ya kifaa · Mac bora kwa LLM za ndani · Kila Mac

Maswali

LLM ipi ni bora kwa M2 yenye GB 8?: Miongoni mwa modeli zenye Intelligence Index iliyochapishwa, MiniCPM5 2B ina alama ya juu zaidi kati ya zile zinazoenda vizuri hapa: 8-bit, takriban tokeni 17–30 kwa sekunde. Kubwa zaidi inayoenda vizuri ni Granite 4.2 8B.
Je, M2 yenye GB 8 inaweza kuendesha Llama 3.3 70B?: Hapana: hata kwa biti 2 inahitaji zaidi ya GB 6 ambazo GPU inaweza kutumia kwa chaguo-msingi.
gpt-oss-20b ina kasi gani kwenye M2?: Haitoshi ndani ya GB 8.

Ziendeshe kwa MLX Harness (bure, open source) au mlx-lm ya Apple ndani ya Terminal: hatua kwa hatua.

Jinsi inavyokokotolewa

Kumbukumbu: vigezo vya modeli kwa biti 8, 6, 4, 3 au 2 kwa kila weight pamoja na group scales za MLX (nusu biti kwa kila weight), au muundo wake asili, pamoja na nafasi ya context juu yake. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban 75% ya unified memory. Kasi: bandwidth ya kumbukumbu ikigawanywa kwa baiti zinazosomwa kwa kila tokeni ndiyo kikomo cha juu kwa mazungumzo moja; katika benchmarks za umma za llama.cpp kwenye Apple Silicon uendeshaji halisi hufikia takriban 45% hadi 80% yake, na huo ndio upana unaoonyeshwa. Haya ni makadirio, si vipimo: pima Mac yako mwenyewe kwenye MLX Bench. Takwimu za modeli ni kutoka kwa kadi rasmi ya kila modeli, takwimu za chipu ni kutoka Tech Specs za Apple. Imekaguliwa 2026-10-19. Data ileile ya mlx.app/compare.