Mac mini vs Mac Studio:跑 AI 該選哪台?

兩者都是小巧的桌上型 Mac,用自己的 GPU 和統一記憶體執行 AI 模型。真正的差別在於能配多少記憶體,以及晶片讀取記憶體有多快。以下依 Apple 的官方數據比較兩者,並說明哪一台適合哪一類模型。

更新於

重點整理

  • Mac mini 最高 64 GB(M5 Pro),Mac Studio 搭配 M5 Max 最高 128 GB,搭配 M5 Ultra 最高 512 GB(Apple、Apple)。
  • 頻寬決定產生速度:M6 Mac mini 為 153–170 GB/s,M5 Pro 為 307 GB/s,M5 Max 最高 614 GB/s,M5 Ultra 為 1,200 GB/s。
  • 4-bit 下約 30B 參數以內的模型:搭載 M5 Pro 的 Mac mini 就夠用。70B 等級模型、gpt-oss-120b 或長上下文:128 GB 的 Mac Studio。最大的開放模型:搭載 M5 Ultra 的 Mac Studio。
  • 記憶體之後無法升級,所以要依明年想跑的模型來選,而不只是看今天。

1跑 AI 最重要的規格

Mac記憶體選項記憶體頻寬4-bit 最大模型耗電(閒置到最大)
Mac mini,M616、24 或 32 GB153–170 GB/s約 21B 到 42B4–70 W
Mac mini,M5 Pro24、48 或 64 GB307 GB/s約 32B 到 85B6–145 W
Mac Studio,M5 Max36、48、64 或 128 GB460–614 GB/s約 48B 到 170B7–200 W
Mac Studio,M5 Ultra96、256 或 512 GB1,200 GB/s約 128B 到 682B9–385 W
記憶體和頻寬取自 Apple 的技術規格:Mac mini 和 Mac Studio;耗電取自 Apple 公布的 Mac mini 和 Mac Studio 數據。最大模型:僅計權重,GPU 約可使用 75% 的記憶體(計算方式)。

每一種配置都連到在它上面執行順暢的模型。較早的機型也是同樣的道理:搭載 M4 或 M4 Pro 的 Mac mini,以及搭載 M4 Max 或 M3 Ultra 的 Mac Studio(所有 Mac 排名)。

2各自的產生速度

產生文字時,每個 token 都要把模型作用中的權重讀一遍,所以記憶體頻寬決定了速度上限。以 4-bit 的 32B 稠密模型(約 18 GB)為例:

Mac單一對話的速度上限裝得下?
Mac mini,M6(32 GB)約 9 tokens/s可以
Mac mini,M5 Pro(48 或 64 GB)約 17 tokens/s可以
Mac Studio,M5 Max(48 GB 或以上)約 34 tokens/s可以
Mac Studio,M5 Ultra約 67 tokens/s可以
頻寬除以 18 GB。實際執行通常能達到上限的 45% 到 80%(llama.cpp 基準測試)。這是估計值,不是實測。

混合專家模型每個 token 只讀取一小部分權重,所以產生速度遠比它的大小看起來快:記憶體決定裝不裝得下,速度仍由頻寬決定。讀取長提示詞則取決於 GPU 運算能力而非頻寬,在這方面 Max 和 Ultra 晶片更大的 GPU 領先得更多。

3哪一台適合哪些模型

  • 中小型模型(4-bit 下約 30B 以內)、聊天、程式輔助、家用 AI 伺服器:選 48 或 64 GB 的 Mac mini(M5 Pro)。32 GB 的 M6 Mac mini 也能跑同樣大小的模型,速度約為一半。
  • 70B 等級模型、gpt-oss-120b、長上下文或同時跑多個模型:選 128 GB 的 Mac Studio(M5 Max)。OpenAI 官方的 gpt-oss-120b 檔案約 65 GB(OpenAI),超過任何 Mac mini 能給 GPU 的記憶體。
  • 最大的開放模型(數千億參數):選 256 或 512 GB 的 Mac Studio(M5 Ultra),或把多台 Mac 串在一起(Mac AI 叢集)。

想查特定模型,它的頁面會列出能執行它的最小 Mac,以及在每款晶片上的速度:所有開放模型。

4全天候執行

兩者都是安靜又省電的全天候機器。依上表 Apple 的數據,Mac mini 閒置約 4–6 W,Mac Studio 約 7–9 W;滿載時,搭載 M5 Ultra 的 Mac Studio 最高可達 385 W。Mac mini AI 伺服器說明如何讓它保持喚醒並把模型提供給其他裝置,Mac 的耗電量是多少則說明一天的電費。

閒置時,MLX Node 可以為 MLX Network 執行 AI 工作並賺取 MLX 代幣。與晶片相配的專屬席位挖得更快:M6 配 Core,M5 Pro 和 M5 Max 配 Pro,M5 Ultra 配 Ultra。收益沒有保證:請閱讀風險揭露。

5常見問題

跑 AI 的話,Mac Studio 比 Mac mini 值得嗎?
如果你想跑約 85B 參數以上的模型、gpt-oss-120b 或長上下文,值得:只有 Mac Studio 超過 64 GB。4-bit 下約 30B 以內的模型,搭載 M5 Pro 的 Mac mini 就能跑,頻寬約為 M5 Max 的一半。
Mac mini 能跑 70B 模型嗎?
只有 64 GB 的 M5 Pro 可以,而且要用 4-bit 和較短的上下文:約 39 GB 的權重放進 GPU 預設可用的 48 GB,每秒只有幾個 token。128 GB 的 Mac Studio 跑起來有空間留給上下文,速度也快約一倍。
跑 LLM 該選 Mac Studio M5 Max 還是 M5 Ultra?
M5 Ultra 的頻寬約為兩倍(1,200 對 614 GB/s),所以產生速度約快一倍,記憶體最高 512 GB。128 GB 的 M5 Max 可跑 4-bit 下約 170B 以內的模型。請見 M5 Max vs M5 Ultra。
跑 AI 的 Mac mini 該選 M6 還是 M5 Pro?
M5 Pro:它讀取記憶體的速度比 24 或 32 GB 的 M6 快約 80%,記憶體最高 64 GB,而不是 32 GB。

資料來源

  1. Applesupport.apple.com
  2. Applesupport.apple.com
  3. Mac minisupport.apple.com
  4. Mac Studiosupport.apple.com
  5. llama.cpp 基準測試github.com
  6. OpenAIhuggingface.co

延伸閱讀