為本地 AI 打造的 M3 Max。

M3 Max 最高配備 128 GB 統一記憶體,讀取速度最高 400 GB/s。以下根據 Apple 官方數據,算算用搭載它的 Mac 跑語言模型代表什麼。

1對 AI 重要的規格

統一記憶體128 GB
記憶體頻寬400 GB/s,較低配置為 300 GB/s
搭載機型14- and 16-inch MacBook Pro (2023)
適合它的專屬席位Pro 席位:每天最多挖 80 MLX

2能跑哪些模型

4 位元量化時,每 10 億個參數需要略多於 0.5 GB 記憶體,還要為上下文與 macOS 留出空間。128 GB 的 M3 Max 可以從容放下約 170B 參數以內的模型。

4 位元模型所需記憶體M3 Max 能否執行
8B 模型4.5 GB可以
14B 模型7.9 GB可以
32B 模型18 GB可以
70B 模型39.4 GB可以
gpt-oss-120b,混合專家65 GB可以
Qwen3.5-397B-A17B,混合專家223.3 GB不行
DeepSeek-V4.1-Flash,混合專家316 GB不行

3跑得多快

產生文字的速度受記憶體頻寬限制:每產生一個新 token,都要把模型的作用中權重讀一遍。用 M3 Max 的 400 GB/s 除以每個 token 讀取的位元組數,就得到下方的上限。實際執行通常能達到上限的 45% 到 80%(llama.cpp 基準測試)。

4 位元模型每 token 讀取量單一對話上限
8B 模型4.5 GB每秒 89 token
14B 模型7.9 GB每秒 51 token
32B 模型18 GB每秒 22 token
70B 模型39.4 GB每秒 10 token
gpt-oss-120b,混合專家2.7 GB每秒 148 token

5與其他晶片比較

6常見問題

M3 Max 能跑 70B 模型嗎?
可以。4 位元的 70B 模型約需 40 GB,而 M3 Max 最高有 128 GB。單一對話的上限約為每秒 10 token。
M3 Max 每秒能產生多少 token?
以 4 位元 8B 模型為例,上限約為每秒 89 token,實際執行大約能達到其一半到五分之四。模型越大,速度按比例越慢。
M3 Max 適合跑 AI 嗎?
在本機執行模型時,最關鍵的是記憶體與頻寬。M3 Max 最高 128 GB、400 GB/s,足以執行約 170B 參數以內的模型。它也能透過 MLX Node 為 MLX Network 執行 AI 工作來賺取收益。

資料來源

  1. Apple: M3, M3 Pro and M3 Maxapple.com
  2. Apple: MacBook Pro (M3 Pro or M3 Max) specssupport.apple.com
M3 Max 本地大型語言模型:記憶體、速度與能跑的模型 | MLX