依記憶體容量
| 記憶體 | 順暢執行 | 順暢執行的最大模型 | gpt-oss-20b |
|---|---|---|---|
| 24 GB307 GB/s | 28 | Gemma 4 26B A4B | 73–129 tok/s |
| 48 GB307 GB/s | 33 | Qwen3.6 35B A3B | 73–129 tok/s |
| 64 GB307 GB/s | 34 | Nemotron 3.5 Bolt 74B A9B | 73–129 tok/s |
機型:Mac mini (M6 or M5 Pro)。 並非每個機型都提供所有記憶體容量;各機型的可選配置請參閱 Apple 的技術規格。
常見問題
- 搭載 M5 Pro 的 Mac mini 適合執行本機 LLM 嗎?
- 配備 64 GB 時,它能順暢執行 73 個開放模型中的 34 個,最大到 Nemotron 3.5 Bolt 74B A9B;執行 gpt-oss-20b 時每秒約產生 73–129 個 token。M5 Pro 的記憶體讀取速度為 307 GB/s,這決定了產生速度。
- 用於 AI 的話,搭載 M5 Pro 的 Mac mini 該配多少記憶體?
- 24 GB 能順暢執行 28 個開放模型;64 GB 能執行 34 個,最大到 Nemotron 3.5 Bolt 74B A9B。記憶體決定放得下哪些模型,而且日後無法升級。
其他 Mac
搭載其他晶片的 Mac mini:
其他搭載 M5 Pro 的 Mac:
正面比較:
計算方式
記憶體:模型參數以每個權重 8、6、4、3 或 2 位元計算,加上 MLX 的分組縮放(每個權重半個位元),或依其原生格式計算,再留出上下文空間。macOS 預設讓 GPU 使用約 75% 的統一記憶體。速度:記憶體頻寬除以每個 token 讀取的位元組數,就是單一對話的上限;在 llama.cpp 的 Apple Silicon 公開效能測試中,實際執行可達這個上限的約 45% 到 80%,本頁顯示的就是這個範圍。這些是估算值,不是實測值:可以到 MLX Bench 測量你自己的 Mac。模型數據來自各模型的官方模型卡,晶片數據來自 Apple 的技術規格。核對於 2026-10-19。數據與 mlx.app/compare 相同。