重點整理
- Mac mini 最高 64 GB(M5 Pro),Mac Studio 搭配 M5 Max 最高 128 GB,搭配 M5 Ultra 最高 512 GB(Apple、Apple)。
- 頻寬決定產生速度:M6 Mac mini 為 153–170 GB/s,M5 Pro 為 307 GB/s,M5 Max 最高 614 GB/s,M5 Ultra 為 1,200 GB/s。
- 4-bit 下約 30B 參數以內的模型:搭載 M5 Pro 的 Mac mini 就夠用。70B 等級模型、gpt-oss-120b 或長上下文:128 GB 的 Mac Studio。最大的開放模型:搭載 M5 Ultra 的 Mac Studio。
- 記憶體之後無法升級,所以要依明年想跑的模型來選,而不只是看今天。
1跑 AI 最重要的規格
| Mac | 記憶體選項 | 記憶體頻寬 | 4-bit 最大模型 | 耗電(閒置到最大) |
|---|---|---|---|---|
| Mac mini,M6 | 16、24 或 32 GB | 153–170 GB/s | 約 21B 到 42B | 4–70 W |
| Mac mini,M5 Pro | 24、48 或 64 GB | 307 GB/s | 約 32B 到 85B | 6–145 W |
| Mac Studio,M5 Max | 36、48、64 或 128 GB | 460–614 GB/s | 約 48B 到 170B | 7–200 W |
| Mac Studio,M5 Ultra | 96、256 或 512 GB | 1,200 GB/s | 約 128B 到 682B | 9–385 W |
每一種配置都連到在它上面執行順暢的模型。較早的機型也是同樣的道理:搭載 M4 或 M4 Pro 的 Mac mini,以及搭載 M4 Max 或 M3 Ultra 的 Mac Studio(所有 Mac 排名)。
2各自的產生速度
產生文字時,每個 token 都要把模型作用中的權重讀一遍,所以記憶體頻寬決定了速度上限。以 4-bit 的 32B 稠密模型(約 18 GB)為例:
| Mac | 單一對話的速度上限 | 裝得下? |
|---|---|---|
| Mac mini,M6(32 GB) | 約 9 tokens/s | 可以 |
| Mac mini,M5 Pro(48 或 64 GB) | 約 17 tokens/s | 可以 |
| Mac Studio,M5 Max(48 GB 或以上) | 約 34 tokens/s | 可以 |
| Mac Studio,M5 Ultra | 約 67 tokens/s | 可以 |
混合專家模型每個 token 只讀取一小部分權重,所以產生速度遠比它的大小看起來快:記憶體決定裝不裝得下,速度仍由頻寬決定。讀取長提示詞則取決於 GPU 運算能力而非頻寬,在這方面 Max 和 Ultra 晶片更大的 GPU 領先得更多。
3哪一台適合哪些模型
- 中小型模型(4-bit 下約 30B 以內)、聊天、程式輔助、家用 AI 伺服器:選 48 或 64 GB 的 Mac mini(M5 Pro)。32 GB 的 M6 Mac mini 也能跑同樣大小的模型,速度約為一半。
- 70B 等級模型、gpt-oss-120b、長上下文或同時跑多個模型:選 128 GB 的 Mac Studio(M5 Max)。OpenAI 官方的 gpt-oss-120b 檔案約 65 GB(OpenAI),超過任何 Mac mini 能給 GPU 的記憶體。
- 最大的開放模型(數千億參數):選 256 或 512 GB 的 Mac Studio(M5 Ultra),或把多台 Mac 串在一起(Mac AI 叢集)。
想查特定模型,它的頁面會列出能執行它的最小 Mac,以及在每款晶片上的速度:所有開放模型。
4全天候執行
兩者都是安靜又省電的全天候機器。依上表 Apple 的數據,Mac mini 閒置約 4–6 W,Mac Studio 約 7–9 W;滿載時,搭載 M5 Ultra 的 Mac Studio 最高可達 385 W。Mac mini AI 伺服器說明如何讓它保持喚醒並把模型提供給其他裝置,Mac 的耗電量是多少則說明一天的電費。
閒置時,MLX Node 可以為 MLX Network 執行 AI 工作並賺取 MLX 代幣。與晶片相配的專屬席位挖得更快:M6 配 Core,M5 Pro 和 M5 Max 配 Pro,M5 Ultra 配 Ultra。收益沒有保證:請閱讀風險揭露。
5常見問題
- 跑 AI 的話,Mac Studio 比 Mac mini 值得嗎?
- 如果你想跑約 85B 參數以上的模型、gpt-oss-120b 或長上下文,值得:只有 Mac Studio 超過 64 GB。4-bit 下約 30B 以內的模型,搭載 M5 Pro 的 Mac mini 就能跑,頻寬約為 M5 Max 的一半。
- Mac mini 能跑 70B 模型嗎?
- 只有 64 GB 的 M5 Pro 可以,而且要用 4-bit 和較短的上下文:約 39 GB 的權重放進 GPU 預設可用的 48 GB,每秒只有幾個 token。128 GB 的 Mac Studio 跑起來有空間留給上下文,速度也快約一倍。
- 跑 LLM 該選 Mac Studio M5 Max 還是 M5 Ultra?
- M5 Ultra 的頻寬約為兩倍(1,200 對 614 GB/s),所以產生速度約快一倍,記憶體最高 512 GB。128 GB 的 M5 Max 可跑 4-bit 下約 170B 以內的模型。請見 M5 Max vs M5 Ultra。
- 跑 AI 的 Mac mini 該選 M6 還是 M5 Pro?
- M5 Pro:它讀取記憶體的速度比 24 或 32 GB 的 M6 快約 80%,記憶體最高 64 GB,而不是 32 GB。
資料來源
- Applesupport.apple.com
- Applesupport.apple.com
- Mac minisupport.apple.com
- Mac Studiosupport.apple.com
- llama.cpp 基準測試github.com
- OpenAIhuggingface.co