LLM ipi ni bora kwa M1 Pro yenye GB 16?

Miongoni mwa modeli zenye Intelligence Index iliyochapishwa, MiniCPM5 2B ina alama ya juu zaidi kati ya zile zinazoenda vizuri hapa: 8-bit, takriban tokeni 33–59 kwa sekunde. Kubwa zaidi inayoenda vizuri ni Phi-4 Reasoning Vision 15B.

Je, M1 Pro yenye GB 16 inaweza kuendesha Llama 3.3 70B?

Hapana: hata kwa biti 2 inahitaji zaidi ya GB 12 ambazo GPU inaweza kutumia kwa chaguo-msingi.

gpt-oss-20b ina kasi gani kwenye M1 Pro?

Takriban tokeni 56–100 kwa sekunde (3-bit), kutokana na bandwidth ya kumbukumbu ya chipu ya 200 GB/s.

M1 Pro yenye GB 16 inaendesha LLM zipi? Modeli na kasi

Zinaenda vizuri 33

Inatosha na kubakiza nafasi ya context, kwa tokeni 10 au zaidi kwa sekunde.

Modeli	Toleo	Kumbukumbu	Tokeni/s
MiniCPM5 2B2.52B · Akili 12.5	8-bit	2.7 GB	33–59
Qwen3.5 9B9B · Akili 11.2	6-bit	7.3 GB	12–22
Granite 4.2 8B8B · Akili 11.1	8-bit	8.5 GB	11–19
Granite 4.2 3B3B · Akili 9.1	8-bit	3.2 GB	28–50
Gemma 4 E4B8B · Akili 8.9	8-bit	8.5 GB	19–33
Ministral 3 8B8.9B · Akili 5.5	6-bit	7.2 GB	13–22
Nemotron 3 Nano 4B3.97B · Akili 4.8	8-bit	4.2 GB	21–38
Phi-4 Reasoning Vision 15B15B	4-bit	8.4 GB	11–19
Phi-4 (14B)14B	4-bit	7.9 GB	11–20
Gemma 4 12B Unified12B	4-bit	6.7 GB	13–24
Qwen3 8B8.2B	8-bit	8.7 GB	10–18
Llama 3.1 8B Instruct8B	8-bit	8.5 GB	11–19
Gemma 4 E2B5.1B	8-bit	5.4 GB	38–67
Qwen3.5 4B4B	8-bit	4.3 GB	21–37
Phi-4 mini instruct3.8B	8-bit	4 GB	23–40
Llama 3.2 3B Instruct3.21B	8-bit	3.4 GB	26–47
SmolLM3 3B3B	8-bit	3.2 GB	28–50
LFM2.5 2.6B2.69B	8-bit	2.9 GB	31–55
Qwen3.5 2B2B	8-bit	2.1 GB	43–76
Llama 3.2 1B Instruct1.23B	8-bit	1.3 GB	69–123
Qwen3.5 0.8B0.8B	8-bit	0.9 GB	100–178
Qwen3 0.6B0.6B	8-bit	0.6 GB	150–267
Qwen3.8 27B27B · Akili 33.7	2-bit ubora wa chini	8.4 GB	11–19
Muse Glimmer 30B29.6B · Akili 17.5	2-bit ubora wa chini	9.3 GB	10–17
Nemotron 3.5 Lightning 30B A3B30B · 3B zinazotumika · Akili 12.9	2-bit ubora wa chini	9.4 GB	100–178
Granite 4.2 30B30B · Akili 12.7	2-bit ubora wa chini	9.4 GB	10–17
gpt-oss-20b21B · 3.6B zinazotumika · Akili 9	3-bit ubora wa chini	9.2 GB	56–100
Nemotron 3 Nano 30B A3B30B · 3.5B zinazotumika · Akili 8.9	2-bit ubora wa chini	9.4 GB	82–145
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B zinazotumika	2-bit ubora wa chini	9.5 GB	90–160
GLM-4.7 Flash30B · 3B zinazotumika	2-bit ubora wa chini	9.4 GB	100–178
Qwen3.6 27B27B	2-bit ubora wa chini	8.4 GB	11–19
Gemma 4 26B A4B25.2B · 3.8B zinazotumika	2-bit ubora wa chini	7.9 GB	75–133
LFM2.5 24B A2B24B · 2B zinazotumika	3-bit ubora wa chini	10.5 GB	100–178

Zinaenda, lakini polepole 4

Inatosha, lakini chini ya tokeni 10 kwa sekunde: sawa kwa kazi za kundi, polepole kwa mazungumzo.

Modeli	Toleo	Kumbukumbu	Tokeni/s
Gemma 4 31B30.7B · Akili 14.7	2-bit ubora wa chini	9.6 GB	9–17
Devstral Small 2 (24B)24B	3-bit ubora wa chini	10.5 GB	9–15
Magistral Small 1.2 (2509)24B	3-bit ubora wa chini	10.5 GB	9–15
Mistral Small 3.2 (24B)24B	3-bit ubora wa chini	10.5 GB	9–15

Zinatosha kwa shida 1

Inahitaji karibu kumbukumbu yote: ongeza kikomo cha kumbukumbu ya GPU na weka context fupi.

Modeli	Toleo	Kumbukumbu	Tokeni/s
Qwen3.6 35B A3B35B · 3B zinazotumika · Akili 18.2	2-bit ubora wa chini	10.9 GB	100–178

Mac nyingine

Kila Mac yenye GB 16, ya chipu yoyote.

M1 Pro yenye kumbukumbu zaidi au kidogo:

32 GB30 zinaenda vizuri

Chipu jirani:

MacBook Pro M1 Pro

Ana kwa ana:

Ilinganishe na Mac au GPU yoyote · M1 Pro kwa AI ya ndani ya kifaa · Mac bora kwa LLM za ndani · Kila Mac

Maswali

LLM ipi ni bora kwa M1 Pro yenye GB 16?: Miongoni mwa modeli zenye Intelligence Index iliyochapishwa, MiniCPM5 2B ina alama ya juu zaidi kati ya zile zinazoenda vizuri hapa: 8-bit, takriban tokeni 33–59 kwa sekunde. Kubwa zaidi inayoenda vizuri ni Phi-4 Reasoning Vision 15B.
Je, M1 Pro yenye GB 16 inaweza kuendesha Llama 3.3 70B?: Hapana: hata kwa biti 2 inahitaji zaidi ya GB 12 ambazo GPU inaweza kutumia kwa chaguo-msingi.
gpt-oss-20b ina kasi gani kwenye M1 Pro?: Takriban tokeni 56–100 kwa sekunde (3-bit), kutokana na bandwidth ya kumbukumbu ya chipu ya 200 GB/s.

Ziendeshe kwa MLX Harness (bure, open source) au mlx-lm ya Apple ndani ya Terminal: hatua kwa hatua.

Jinsi inavyokokotolewa

Kumbukumbu: vigezo vya modeli kwa biti 8, 6, 4, 3 au 2 kwa kila weight pamoja na group scales za MLX (nusu biti kwa kila weight), au muundo wake asili, pamoja na nafasi ya context juu yake. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban 75% ya unified memory. Kasi: bandwidth ya kumbukumbu ikigawanywa kwa baiti zinazosomwa kwa kila tokeni ndiyo kikomo cha juu kwa mazungumzo moja; katika benchmarks za umma za llama.cpp kwenye Apple Silicon uendeshaji halisi hufikia takriban 45% hadi 80% yake, na huo ndio upana unaoonyeshwa. Haya ni makadirio, si vipimo: pima Mac yako mwenyewe kwenye MLX Bench. Takwimu za modeli ni kutoka kwa kadi rasmi ya kila modeli, takwimu za chipu ni kutoka Tech Specs za Apple. Imekaguliwa 2026-10-19. Data ileile ya mlx.app/compare.

M1 Pro yenye GB 16 inaweza kuendesha nini?