在 Mac 上執行 LLM。

1你的 Mac 裝得下什麼

模型權重必須放進記憶體，還要替上下文和 macOS 保留餘裕。以每個權重 4 bit 計算，每 10 億參數約需 0.55 到 0.6 GB。

速度是另一回事：每產生一個新 token，都要把作用中的權重從記憶體讀一遍，所以每秒 token 數與記憶體頻寬成正比。我們的本機 LLM 最佳 Mac 指南涵蓋了每款晶片。

2最簡單的方式：LM Studio

LM Studio 是一款免費的 Mac App，內建聊天視窗和模型瀏覽器。在 Apple 晶片上，它既能執行 Apple 的 MLX 格式模型，也能執行 llama.cpp 使用的 GGUF 格式模型。

1. 下載並打開 LM Studio。
2. 搜尋模型，在 Apple 晶片上優先選擇 MLX 版本，並挑選記憶體裝得下的規模。
3. 載入模型，開始聊天。你也可以開啟它的本機伺服器，供其他 App 使用。

3一行指令：Ollama

Ollama 在終端機中執行模型，並提供給 Mac 上的其他 App 使用。安裝後，一行指令就能下載並啟動模型：

ollama run llama3.2

從 0.19 版起，Ollama 在 Apple 晶片上推出由 Apple MLX 框架驅動的預覽版，支援的模型速度大幅提升；這個預覽版要求 Mac 記憶體大於 32 GB（Ollama）。

4最快的方式：Apple 的 MLX 與 mlx-lm

MLX 是 Apple 為 Apple 晶片打造的開源機器學習框架，mlx-lm 是它的語言模型套件。Hugging Face 上的 mlx-community 組織提供了數千個可直接使用的模型。

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

用 mlx_lm.chat 在終端機裡對話，用 mlx_lm.server 啟動一個讓其他 App 呼叫的本機 API。在 M5 晶片上，MLX 會使用 GPU 中新增的神經加速器：Apple 實測第一個 token 出現的速度比 M4 快 3.3 到 4.1 倍（Apple Machine Learning Research）。

5先測一測，再讓它上工

MLX Bench 是一個開放排行榜，記錄 MLX 在每款 Apple 晶片上的速度：產生和提示詞處理的每秒 token 數，以及峰值記憶體。在你的 Mac 上執行這個單檔腳本，看看排在哪裡。

你不用 Mac 的時候，它可以為別人執行 AI。MLX Node 是一款免費 App，以同一個 MLX 框架為 MLX Network 執行 AI 工作，為通過驗證的工作賺取 MLX 代幣，一切都在你設定的上限之內。

6常見問題

MacBook Air 跑得動 LLM 嗎？

可以。16 GB 的 MacBook Air 能順暢執行 4-bit 的 7B 到 14B 模型；32 GB 則可執行約 30B 以內的模型。它會比搭載 Pro 或 Max 晶片的 Mac 慢，因為後者的記憶體頻寬更高。

在 Mac 上 MLX 比 Ollama 快嗎？

通常是，因為 MLX 是為 Apple 晶片撰寫的。Ollama 自己由 MLX 驅動的預覽版，也回報了在 Apple 晶片上的大幅提速。我們的 MLX 與 Ollama 比較指南有詳細說明。

本機模型可以離線使用嗎？

可以。模型下載後完全在你的 Mac 上執行，你的提示詞從不離開這台 Mac。

70B 模型需要多少記憶體？

4-bit 下權重約需 40 GB，所以需要 64 GB 或以上記憶體的 Mac。品質相近的混合專家模型可能需要更多記憶體，但執行起來更快。