IngiaFungua pochi

M3 Pro yenye GB 18 inaweza kuendesha nini?

Modeli huria 20 kati ya 73 zinaenda vizuri juu yake. Kwa chaguo-msingi GPU inaweza kutumia takriban GB 14 kati ya GB 18 zake, na husoma kumbukumbu kwa 150 GB/s, jambo linaloamua kasi yake ya kuandika. Inapatikana katika: MacBook Pro (14-inch, M3 Pro or M3 Max, Nov 2023), MacBook Pro (16-inch, Nov 2023).

Yenye akili zaidi inayoenda vizuriMiniCPM5 2B8-bit · 2.7 GB · 25–44 tok/sKubwa zaidi inayoenda vizuriGemma 4 12B Unified4-bit · 6.7 GB · 10–18 tok/s

Zinaenda vizuri 27

Inatosha na kubakiza nafasi ya context, kwa tokeni 10 au zaidi kwa sekunde.

ModeliToleoKumbukumbuTokeni/s
MiniCPM5 2B2.52B · Akili 12.58-bit2.7 GB25–44
Qwen3.5 9B9B · Akili 11.24-bit5.1 GB13–24
Granite 4.2 8B8B · Akili 11.16-bit6.5 GB10–18
Granite 4.2 3B3B · Akili 9.18-bit3.2 GB21–38
Gemma 4 E4B8B · Akili 8.98-bit8.5 GB14–25
Ministral 3 8B8.9B · Akili 5.54-bit5 GB14–24
Nemotron 3 Nano 4B3.97B · Akili 4.88-bit4.2 GB16–29
Gemma 4 12B Unified12B4-bit6.7 GB10–18
Qwen3 8B8.2B6-bit6.7 GB10–18
Llama 3.1 8B Instruct8B6-bit6.5 GB10–18
Gemma 4 E2B5.1B8-bit5.4 GB28–50
Qwen3.5 4B4B8-bit4.3 GB16–28
Phi-4 mini instruct3.8B8-bit4 GB17–30
Llama 3.2 3B Instruct3.21B8-bit3.4 GB20–35
SmolLM3 3B3B8-bit3.2 GB21–38
LFM2.5 2.6B2.69B8-bit2.9 GB23–41
Qwen3.5 2B2B8-bit2.1 GB32–57
Llama 3.2 1B Instruct1.23B8-bit1.3 GB52–92
Qwen3.5 0.8B0.8B8-bit0.9 GB75–133
Qwen3 0.6B0.6B8-bit0.6 GB113–200
Qwen3.6 35B A3B35B · 3B zinazotumika · Akili 18.22-bit ubora wa chini10.9 GB75–133
Nemotron 3.5 Lightning 30B A3B30B · 3B zinazotumika · Akili 12.92-bit ubora wa chini9.4 GB75–133
Nemotron 3 Nano 30B A3B30B · 3.5B zinazotumika · Akili 8.92-bit ubora wa chini9.4 GB61–109
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B zinazotumika2-bit ubora wa chini9.5 GB68–120
GLM-4.7 Flash30B · 3B zinazotumika2-bit ubora wa chini9.4 GB75–133
Gemma 4 26B A4B25.2B · 3.8B zinazotumika3-bit ubora wa chini11 GB40–71
LFM2.5 24B A2B24B · 2B zinazotumika3-bit ubora wa chini10.5 GB75–133

Zinaenda, lakini polepole 10

Inatosha, lakini chini ya tokeni 10 kwa sekunde: sawa kwa kazi za kundi, polepole kwa mazungumzo.

ModeliToleoKumbukumbuTokeni/s
Phi-4 Reasoning Vision 15B15B4-bit8.4 GB8–14
Phi-4 (14B)14B6-bit11.4 GB6–11
Qwen3.8 27B27B · Akili 33.73-bit ubora wa chini11.8 GB6–10
Muse Glimmer 30B29.6B · Akili 17.52-bit ubora wa chini9.3 GB7–13
Gemma 4 31B30.7B · Akili 14.72-bit ubora wa chini9.6 GB7–13
Granite 4.2 30B30B · Akili 12.72-bit ubora wa chini9.4 GB7–13
Qwen3.6 27B27B3-bit ubora wa chini11.8 GB6–10
Devstral Small 2 (24B)24B3-bit ubora wa chini10.5 GB6–11
Magistral Small 1.2 (2509)24B3-bit ubora wa chini10.5 GB6–11
Mistral Small 3.2 (24B)24B3-bit ubora wa chini10.5 GB6–11

Zinatosha kwa shida 1

Inahitaji karibu kumbukumbu yote: ongeza kikomo cha kumbukumbu ya GPU na weka context fupi.

ModeliToleoKumbukumbuTokeni/s
gpt-oss-20b21B · 3.6B zinazotumika · Akili 94.25-bit asili13.8 GB36–63

Kubwa mno 35

Inahitaji kumbukumbu zaidi ya GB 18, hata kwa biti 2.

Mac nyingine

Kila Mac yenye GB 18, ya chipu yoyote.

M3 Pro yenye kumbukumbu zaidi au kidogo:

Chipu jirani:

Ana kwa ana:

Ilinganishe na Mac au GPU yoyote · M3 Pro kwa AI ya ndani ya kifaa · Mac bora kwa LLM za ndani · Kila Mac

Maswali

LLM ipi ni bora kwa M3 Pro yenye GB 18?
Miongoni mwa modeli zenye Intelligence Index iliyochapishwa, MiniCPM5 2B ina alama ya juu zaidi kati ya zile zinazoenda vizuri hapa: 8-bit, takriban tokeni 25–44 kwa sekunde. Kubwa zaidi inayoenda vizuri ni Gemma 4 12B Unified.
Je, M3 Pro yenye GB 18 inaweza kuendesha Llama 3.3 70B?
Hapana: hata kwa biti 2 inahitaji zaidi ya GB 14 ambazo GPU inaweza kutumia kwa chaguo-msingi.
gpt-oss-20b ina kasi gani kwenye M3 Pro?
Takriban tokeni 36–63 kwa sekunde (4.25-bit asili), kutokana na bandwidth ya kumbukumbu ya chipu ya 150 GB/s.

Ziendeshe kwa MLX Harness (bure, open source) au mlx-lm ya Apple ndani ya Terminal: hatua kwa hatua.

Jinsi inavyokokotolewa

Kumbukumbu: vigezo vya modeli kwa biti 8, 6, 4, 3 au 2 kwa kila weight pamoja na group scales za MLX (nusu biti kwa kila weight), au muundo wake asili, pamoja na nafasi ya context juu yake. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban 75% ya unified memory. Kasi: bandwidth ya kumbukumbu ikigawanywa kwa baiti zinazosomwa kwa kila tokeni ndiyo kikomo cha juu kwa mazungumzo moja; katika benchmarks za umma za llama.cpp kwenye Apple Silicon uendeshaji halisi hufikia takriban 45% hadi 80% yake, na huo ndio upana unaoonyeshwa. Haya ni makadirio, si vipimo: pima Mac yako mwenyewe kwenye MLX Bench. Takwimu za modeli ni kutoka kwa kadi rasmi ya kila modeli, takwimu za chipu ni kutoka Tech Specs za Apple. Imekaguliwa 2026-10-19. Data ileile ya mlx.app/compare.

M3 Pro yenye GB 18 inaendesha LLM zipi? Modeli na kasi