你的 Mac 能跑什麼?
選擇你的 Mac 或任何其他機器,看看哪些開源 AI 模型裝得進它的記憶體、能跑多快。資料來自每個模型的模型卡,以及每顆晶片公布的記憶體和頻寬。
Apple M5,16 GB: 預設約 12 GB 可用於模型, 記憶體頻寬 153 GB/s。 43 個熱門模型中有 20 個能執行。 詳細頁面 實測:在 llama.cpp 中以 4 位元執行 Llama 2 7B,每秒 32 個 token (M5 (10-core GPU))。
智慧評分:Artificial Analysis Intelligence Index v4.3.2,僅限已測模型。模型名稱連結到官方模型卡。
計算方式
記憶體。 每個模型都以裝得下的最高精度顯示:每個權重 8、6、4、3 或 2 位元,加上 MLX 的分組縮放(每個權重半個位元);若模型以原生格式發布,則依原生格式計算。在 Mac 上,GPU 預設可使用約 75% 的統一記憶體;我們還在此之上替上下文留了空間。
速度。 產生文字時,每個 token 都要把所有啟用的權重讀取一次,因此記憶體頻寬除以這些位元組數,就是單一對話的速度上限。在 llama.cpp 的 Apple Silicon 公開效能測試中,實際速度約為上限的 45% 到 80%,這裡顯示的就是這個範圍。讀取長提示詞受運算能力限制,不在此顯示。
來源。 參數量、上下文長度和授權來自 Hugging Face 上各模型的官方模型卡(點模型名稱即可查看);記憶體和頻寬來自 Apple 及各廠商的規格。查核日期:2026-10-19。你可以用 MLX Bench 實測自己的 Mac。所有 Mac、所有模型與完整的適配表都能免費下載 JSON 和 CSV:開放資料。
瀏覽。 所有 Mac,從 8 GB 的 M1 到 512 GB 的 M5 Ultra,以及每台能跑的模型;還有所有模型和各自需要的最低規格 Mac。
實際執行。 逐步教學:在 Mac 上下載並執行 LLM、MLX、Ollama 與 llama.cpp 比較,以及最適合本機 LLM 的 Mac。Mac 閒置時,還能賺取 MLX Token。
- 怎麼知道一個 LLM 能不能在我的 Mac 上執行?
- 把模型在你想要的精度下的大小,和 Mac 的統一記憶體比較一下。macOS 預設讓 GPU 使用其中約 75%,模型還需要替上下文留空間。4 位元模型大約每十億參數需要略多於 0.5 GB。
- 每秒能產生多少個 token?
- 產生速度受記憶體頻寬限制:每個 token 都要把模型啟用的權重讀一次。頻寬除以每個 token 讀取的位元組數就是單一對話的上限,實際執行通常可達其中約 45% 到 80%。
- 為什麼混合專家(MoE)模型跑得比較快?
- 它們在記憶體裡放了許多專家,但每個 token 只用其中少數幾個,所以每個 token 讀取的位元組少得多。記憶體要裝得下整個模型,速度卻和小得多的模型相當。
- 4 位元量化夠用嗎?
- 對大多數模型而言,4 位元能維持接近原版的品質。低於 4 位元,品質下降會快得多,所以低於 4 位元的版本都有標示。