你的 Mac 能跑什麼?

選擇你的 Mac 或任何其他機器,看看哪些開源 AI 模型裝得進它的記憶體、能跑多快。資料來自每個模型的模型卡,以及每顆晶片公布的記憶體和頻寬。

Apple M5,16 GB: 預設約 12 GB 可用於模型, 記憶體頻寬 153 GB/s。 43 個熱門模型中有 20 個能執行。 詳細頁面 實測:在 llama.cpp 中以 4 位元執行 Llama 2 7B,每秒 32 個 token (M5 (10-core GPU))。

順暢執行 放得下,還留有上下文空間,每秒 10 個 token 以上。
Gemma 4 E4BGoogle DeepMind · 2026-03 · 128K 上下文 · 支援圖像智慧 8.9模型卡MLX 版本8B8 位元8.5 GB 裝得下14–26 tok/s
Qwen3.5 4BQwen (Alibaba) · 2026-02 · 256K 上下文 · 支援圖像模型卡MLX 版本4B8 位元4.3 GB 裝得下16–28 tok/s
Llama 3.2 3B InstructMeta · 2024-09 · 128K 上下文模型卡MLX 版本3.21B8 位元3.4 GB 裝得下20–36 tok/s
SmolLM3 3BHugging Face · 2025-07 · 64K 上下文模型卡MLX 版本3B8 位元3.2 GB 裝得下22–38 tok/s
Qwen3.5 0.8BQwen (Alibaba) · 2026-02 · 256K 上下文 · 支援圖像模型卡MLX 版本0.8B8 位元0.9 GB 裝得下77–136 tok/s
Nemotron 3.5 Lightning 30B A3BNVIDIA · 2026-08 · 256K 上下文智慧 12.9模型卡MLX 版本30B · 啟用 3B2 位元 品質較低9.4 GB 裝得下77–136 tok/s
gpt-oss-20bOpenAI · 2025-08 · 128K 上下文智慧 9模型卡MLX 版本21B · 啟用 3.6B3 位元 品質較低9.2 GB 裝得下43–77 tok/s
以原生低位元格式發布:權重約 14 GB。
Qwen3 Coder 30B A3B InstructQwen (Alibaba) · 2025-07 · 256K 上下文模型卡MLX 版本30.5B · 啟用 3.3B2 位元 品質較低9.5 GB 裝得下69–122 tok/s
GLM-4.7 FlashZ.ai (Zhipu) · 2026-01 · 198K 上下文模型卡MLX 版本30B · 啟用 3B2 位元 品質較低9.4 GB 裝得下77–136 tok/s
Gemma 4 26B A4BGoogle DeepMind · 2026-03 · 256K 上下文 · 支援圖像模型卡MLX 版本25.2B · 啟用 3.8B2 位元 品質較低7.9 GB 裝得下57–102 tok/s
LFM2.5 24B A2BLiquid AI · 2026-10 · 128K 上下文模型卡MLX 版本24B · 啟用 2B3 位元 品質較低10.5 GB 裝得下77–136 tok/s
能執行,但較慢 放得下,但每秒不到 10 個 token:適合批次工作,拿來聊天會慢。
Qwen3.5 9BQwen (Alibaba) · 2026-02 · 256K 上下文 · 支援圖像智慧 11.2模型卡MLX 版本9B8 位元9.6 GB 裝得下7–13 tok/s
Granite 4.2 8BIBM · 2026-08 · 128K 上下文智慧 11.1模型卡8B8 位元8.5 GB 裝得下8–14 tok/s
Phi-4 (14B)Microsoft · 2024-12 · 16K 上下文模型卡MLX 版本14B4 位元7.9 GB 裝得下9–15 tok/s
Gemma 4 12B UnifiedGoogle DeepMind · 2026-05 · 256K 上下文 · 支援圖像模型卡MLX 版本12B6 位元9.7 GB 裝得下7–13 tok/s
Llama 3.1 8B InstructMeta · 2024-07 · 128K 上下文模型卡MLX 版本8B8 位元8.5 GB 裝得下8–14 tok/s
Qwen3.8 27BQwen (Alibaba) · 2026-08 · 256K 上下文 · 支援圖像智慧 33.7模型卡MLX 版本27B2 位元 品質較低8.4 GB 裝得下8–15 tok/s
Muse Glimmer 30BMeta (Meta Superintelligence Lab) · 2026-08 · 128K 上下文 · 支援圖像智慧 17.5模型卡MLX 版本29.6B2 位元 品質較低9.3 GB 裝得下7–13 tok/s
Gemma 4 31BGoogle DeepMind · 2026-03 · 256K 上下文 · 支援圖像智慧 14.7模型卡MLX 版本30.7B2 位元 品質較低9.6 GB 裝得下7–13 tok/s
Devstral Small 2 (24B)Mistral AI · 2025-11 · 256K 上下文 · 支援圖像模型卡MLX 版本24B3 位元 品質較低10.5 GB 裝得下7–12 tok/s
勉強放得下 幾乎用滿記憶體:需調高 GPU 記憶體上限,並保持較短的上下文。
Qwen3.6 35B A3BQwen (Alibaba) · 2026-04 · 256K 上下文 · 支援圖像智慧 18.2模型卡MLX 版本35B · 啟用 3B2 位元 品質較低10.9 GB 勉強77–136 tok/s

智慧評分:Artificial Analysis Intelligence Index v4.3.2,僅限已測模型。模型名稱連結到官方模型卡。

計算方式

記憶體。 每個模型都以裝得下的最高精度顯示:每個權重 8、6、4、3 或 2 位元,加上 MLX 的分組縮放(每個權重半個位元);若模型以原生格式發布,則依原生格式計算。在 Mac 上,GPU 預設可使用約 75% 的統一記憶體;我們還在此之上替上下文留了空間。

速度。 產生文字時,每個 token 都要把所有啟用的權重讀取一次,因此記憶體頻寬除以這些位元組數,就是單一對話的速度上限。在 llama.cpp 的 Apple Silicon 公開效能測試中,實際速度約為上限的 45% 到 80%,這裡顯示的就是這個範圍。讀取長提示詞受運算能力限制,不在此顯示。

來源。 參數量、上下文長度和授權來自 Hugging Face 上各模型的官方模型卡(點模型名稱即可查看);記憶體和頻寬來自 Apple 及各廠商的規格。查核日期:2026-10-19。你可以用 MLX Bench 實測自己的 Mac。所有 Mac、所有模型與完整的適配表都能免費下載 JSON 和 CSV:開放資料。

瀏覽。 所有 Mac,從 8 GB 的 M1 到 512 GB 的 M5 Ultra,以及每台能跑的模型;還有所有模型和各自需要的最低規格 Mac。

實際執行。 逐步教學:在 Mac 上下載並執行 LLM、MLX、Ollama 與 llama.cpp 比較,以及最適合本機 LLM 的 Mac。Mac 閒置時,還能賺取 MLX Token。

怎麼知道一個 LLM 能不能在我的 Mac 上執行?
把模型在你想要的精度下的大小,和 Mac 的統一記憶體比較一下。macOS 預設讓 GPU 使用其中約 75%,模型還需要替上下文留空間。4 位元模型大約每十億參數需要略多於 0.5 GB。
每秒能產生多少個 token?
產生速度受記憶體頻寬限制:每個 token 都要把模型啟用的權重讀一次。頻寬除以每個 token 讀取的位元組數就是單一對話的上限,實際執行通常可達其中約 45% 到 80%。
為什麼混合專家(MoE)模型跑得比較快?
它們在記憶體裡放了許多專家,但每個 token 只用其中少數幾個,所以每個 token 讀取的位元組少得多。記憶體要裝得下整個模型,速度卻和小得多的模型相當。
4 位元量化夠用嗎?
對大多數模型而言,4 位元能維持接近原版的品質。低於 4 位元,品質下降會快得多,所以低於 4 位元的版本都有標示。