24 GB 的 M5 Pro 能執行什麼?

73 個開放模型中有 28 個能在它上面順暢執行。預設情況下,GPU 可使用 24 GB 中的約 18 GB;它的記憶體讀取速度為 307 GB/s,這決定了產生速度。搭載於:MacBook Pro (14-inch, M5 Pro or M5 Max), MacBook Pro (16-inch, M5 Pro or M5 Max), Mac mini (M6 or M5 Pro)。

順暢執行中最聰明的MiniCPM5 2B8 位元 · 2.7 GB · 51–91 tok/s順暢執行中最大的Gemma 4 26B A4B4 位元 · 14.2 GB · 66–117 tok/s適合寫程式Devstral Small 2 (24B)4 位元 · 13.5 GB · 10–18 tok/s

順暢執行 36

放得下,還留有上下文空間,每秒 10 個 token 以上。

模型版本記憶體token/秒
MiniCPM5 2B2.52B · 智慧 12.58 位元2.7 GB51–91
Qwen3.5 9B9B · 智慧 11.28 位元9.6 GB14–26
Granite 4.2 8B8B · 智慧 11.18 位元8.5 GB16–29
Granite 4.2 3B3B · 智慧 9.18 位元3.2 GB43–77
gpt-oss-20b21B · 啟用 3.6B · 智慧 9原生 4.25 位元13.8 GB73–129
Gemma 4 E4B8B · 智慧 8.98 位元8.5 GB29–51
Ministral 3 8B8.9B · 智慧 5.58 位元9.5 GB15–26
Nemotron 3 Nano 4B3.97B · 智慧 4.88 位元4.2 GB33–58
Gemma 4 26B A4B25.2B · 啟用 3.8B4 位元14.2 GB66–117
Devstral Small 2 (24B)24B4 位元13.5 GB10–18
Magistral Small 1.2 (2509)24B4 位元13.5 GB10–18
Mistral Small 3.2 (24B)24B4 位元13.5 GB10–18
LFM2.5 24B A2B24B · 啟用 2B4 位元13.5 GB126–223
Phi-4 Reasoning Vision 15B15B6 位元12.2 GB11–20
Phi-4 (14B)14B6 位元11.4 GB12–22
Gemma 4 12B Unified12B8 位元12.7 GB11–19
Qwen3 8B8.2B8 位元8.7 GB16–28
Llama 3.1 8B Instruct8B8 位元8.5 GB16–29
Gemma 4 E2B5.1B8 位元5.4 GB58–102
Qwen3.5 4B4B8 位元4.3 GB32–57
Phi-4 mini instruct3.8B8 位元4 GB35–61
Llama 3.2 3B Instruct3.21B8 位元3.4 GB41–72
SmolLM3 3B3B8 位元3.2 GB43–77
LFM2.5 2.6B2.69B8 位元2.9 GB48–85
Qwen3.5 2B2B8 位元2.1 GB66–117
Llama 3.2 1B Instruct1.23B8 位元1.3 GB106–189
Qwen3.5 0.8B0.8B8 位元0.9 GB154–273
Qwen3 0.6B0.6B8 位元0.6 GB230–409
Qwen3.6 35B A3B35B · 啟用 3B · 智慧 18.23 位元 品質較低15.3 GB106–189
Muse Glimmer 30B29.6B · 智慧 17.53 位元 品質較低13 GB11–19
Gemma 4 31B30.7B · 智慧 14.73 位元 品質較低13.4 GB10–18
Nemotron 3.5 Lightning 30B A3B30B · 啟用 3B · 智慧 12.93 位元 品質較低13.1 GB106–189
Granite 4.2 30B30B · 智慧 12.73 位元 品質較低13.1 GB11–19
Nemotron 3 Nano 30B A3B30B · 啟用 3.5B · 智慧 8.93 位元 品質較低13.1 GB92–164
Qwen3 Coder 30B A3B Instruct30.5B · 啟用 3.3B3 位元 品質較低13.3 GB99–175
GLM-4.7 Flash30B · 啟用 3B3 位元 品質較低13.1 GB106–189

能執行,但較慢 2

放得下,但每秒不到 10 個 token:適合批次工作,拿來聊天會慢。

模型版本記憶體token/秒
Qwen3.8 27B27B · 智慧 33.74 位元15.2 GB9–16
Qwen3.6 27B27B4 位元15.2 GB9–16

太大 35

所需記憶體超過 24 GB,即使是 2 位元也不行。

其他 Mac

所有 24 GB 的 Mac,不限晶片。

記憶體更多或更少的 M5 Pro:

相鄰晶片:

正面比較:

與任何 Mac 或 GPU 比較 · 用 M5 Pro 執行本機 AI · 執行本機 LLM 的最佳 Mac · 所有 Mac

常見問題

24 GB 的 M5 Pro 最適合執行哪個 LLM?
在公布 Intelligence Index 的模型中,MiniCPM5 2B 是在這台 Mac 上順暢執行的模型裡得分最高的:8 位元,每秒約 51–91 個 token。能順暢執行的最大模型是 Gemma 4 26B A4B。
24 GB 的 M5 Pro 能執行 Llama 3.3 70B 嗎?
不能:即使是 2 位元,它也需要超過 GPU 預設可用的 18 GB。
gpt-oss-20b 在 M5 Pro 上有多快?
每秒約 73–129 個 token(原生 4.25 位元),由晶片 307 GB/s 的記憶體頻寬決定。

可以用 MLX Harness(免費、開源)執行,或在「終端機」中使用 Apple 的 mlx-lm:逐步教學。

計算方式

記憶體:模型參數以每個權重 8、6、4、3 或 2 位元計算,加上 MLX 的分組縮放(每個權重半個位元),或依其原生格式計算,再留出上下文空間。macOS 預設讓 GPU 使用約 75% 的統一記憶體。速度:記憶體頻寬除以每個 token 讀取的位元組數,就是單一對話的上限;在 llama.cpp 的 Apple Silicon 公開效能測試中,實際執行可達這個上限的約 45% 到 80%,本頁顯示的就是這個範圍。這些是估算值,不是實測值:可以到 MLX Bench 測量你自己的 Mac。模型數據來自各模型的官方模型卡,晶片數據來自 Apple 的技術規格。核對於 2026-10-19。數據與 mlx.app/compare 相同。

24 GB 的 M5 Pro 能執行哪些 LLM?所有模型與速度