如何使用 MLX Harness。

1安裝 MLX Harness

你需要一台搭載 Apple 晶片、執行 macOS 14.5 或以上版本的 Mac。推論引擎內建於 App 中，不需要另外安裝：下載後把 MLX Harness 移到「應用程式」資料夾並打開即可。

MLX Harness 是 JANGQ AI 的 vMLX 的修改版，以 Apache License 2.0 發布。底層引擎就是 vMLX 的引擎，未經修改；MLX Harness 修改的是引擎外層的 App，並加入了 Network 頁面。

2挑選並下載模型

模型來自 Hugging Face，大多是 mlx-community 組織發布的 MLX 格式模型。下載前先看看哪些裝得下：Compare 會顯示你的 Mac 記憶體能容納哪些模型，以及每個模型大約的生成速度。

1. 打開 Models，選擇 Find & download。搜尋後可依下載次數、熱門程度、按讚數、最近更新或模型大小排序；搜尋結果列出的是 MLX 模型。
2. 按一下模型閱讀它的 README，然後下載。下載會在背景進行，Downloads 會顯示進度。
3. 對於 Llama 等受限模型，請先在 HF Token: 欄位填入你的 Hugging Face 存取權杖，並在 huggingface.co 上接受該模型的授權。
4. Library & tools 列出你 Mac 上的模型。Inspect Model 顯示模型的中繼資料，Diagnose Model 執行健康檢查，Convert Model 把 Hugging Face 模型轉換為量化的 MLX 模型：Balanced (4-bit)、Quality (8-bit) 或 Compact (3-bit)。

下載內容預設存入你的 Hugging Face 快取資料夾，也可以在 Download to: 下另選位置。MLX Harness 也會找到已在該快取中、在 ~/.mlxstudio/models 中，以及在你於 Directories 下加入的資料夾中的模型。

3聊天與影像

聊天與推理

1. 打開 Chat & Images，在聊天工具列的模型選單中挑選一個模型，或選 Add local model。它會以偵測到的預設值啟動；進階選項保留在 Servers & API 中。
2. 輸入訊息。推理模型會把思考過程顯示在獨立的方框中。聊天設定中的 Enable Thinking 可設為 Auto、On 或 Off，Reasoning Effort 則為支援的模型設定推理深度。
3. 視覺模型可以接收影像：把檔案拖到聊天中，或使用附件按鈕。接受影片、音訊和文字檔的模型也能處理這些檔案。
4. 聊天記錄儲存在側邊欄中，可以搜尋。設定依模型分別儲存。

你也可以和其他地方的模型聊天：Connect remote endpoint 可以填入任何相容 OpenAI 的 API 位址。只有這時，你的提示詞才會離開 Mac。

生成與編輯影像

在 Chat & Images 中選擇 Image。影像模型透過 mflux 執行，影像伺服器從你 Mac 上的一個資料夾載入模型：Find mflux models 會在 Models 中打開影像模型搜尋，接著用 Load selected folder 啟動。

部分影像模型（例如 Flux Dev）在 Hugging Face 上受限，需要你的存取權杖並接受授權後才能下載。

4AI 代理與工具

MLX Harness 可以讓模型在你的 Mac 上執行動作。在聊天設定中開啟 Enable Built-in Coding Tools 並選擇一個 Working Directory：所有檔案操作和指令都在其中執行。然後依類別開啟或關閉工具：

Max Tool Iterations 限制一則訊息最多可以進行幾輪工具呼叫（預設 10 輪）。Shell 和檔案工具操作的是真實的檔案，所以請把工作目錄指向某個專案，而不是你的個人專屬資料夾，並使用你信得過的模型。

5從其他 App 使用：本機 API

你啟動的每個模型都在你的 Mac 上提供服務。位於 http://localhost:8080 的 API Gateway 依請求中的模型名稱把每個請求轉給對應的模型，被請求時還會啟動已停止的模型。每個模型也有自己的連接埠，從 8000 起。預設只有你的 Mac 能存取它們；開啟 LAN 後，它們會對你的區域網路開放。

在 API 背後，引擎會快取它已經讀過的內容。開啟 Continuous Batching 後，Prefix Cache 能讓長對話或程式設計代理反覆出現的指示在下一輪略過重複計算，KV Cache Quantization 會壓縮這份快取，Disk Cache (Persistent) 則把它保存在 SSD 上。這些選項都在每個模型的伺服器設定中。

一個 OpenAI 格式的請求，使用 API 頁面顯示的模型名稱：

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "YOUR-MODEL",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

任何 OpenAI SDK 都能使用，只要把 base_url 設為 http://localhost:8080/v1；除非你為工作階段設定了金鑰，否則金鑰可以是任意文字。對於程式設計代理，Coding Tool Integration 可以透過 Auto-Configure 為 Claude Code、Codex CLI、OpenCode、OpenClaw 和 Hermes Agent 完成設定，或顯示 Manual Setup。以 Claude Code 為例，就是把以下內容合併到 ~/.claude/settings.json：

{
  "env": {
    "ANTHROPIC_BASE_URL": "http://localhost:8080",
    "ANTHROPIC_MODEL": "YOUR-MODEL",
    "ANTHROPIC_API_KEY": "mlxstudio"
  }
}

6Network 頁面與 MLX Node

Network 顯示來自 mlx.app 的 MLX Network 即時資料：在線和正在工作的 Mac、每秒 token 數、今日 AI token 數和國家數。它會檢查這台 Mac 是否已安裝並正在執行 MLX Node，並能開啟它或連到下載頁。在 Your wallet 下輸入你的錢包名稱並按 Show，就能看著它挖得的 MLX 即時增加；這個名稱只保存在這台 Mac 上。

MLX Harness 本身從不挖礦，它為你執行模型。MLX Node 是另一款選單列 App，把你 Mac 的閒置時間借給 MLX Network 並賺取 MLX 代幣：免費席位每天最多 1 MLX，鎖定 30 天。如果兩者都用，它們會共用同一組記憶體和 GPU，所以 MLX Node 的 Memory MLX may use 上限以及手動開始和停止，能讓它不妨礙你。MLX 代幣可能貶值；請閱讀風險揭露。

7常見問題

MLX Harness 免費嗎？

免費。它和所依據的專案 vMLX 一樣，採用 Apache License 2.0 授權。

什麼時候可以下載 MLX Harness？

現在就可以。它可在 harness.mlx.app 和 mlx.app/download 免費下載，適用於執行 macOS 14.5 或以上版本的 Apple 晶片 Mac。原始碼在 GitHub 上：github.com/MLXapp/studio。

MLX Harness 能在哪些 Mac 上執行？

搭載 Apple 晶片（M1 或更新）、執行 macOS 14.5 或以上版本的 Mac。你的 Mac 記憶體決定能裝下哪些模型；mlx.app 上的 Compare 會把它們列出來。

MLX Harness 會把我的提示詞傳到別處嗎？

不會。本機模型在你的 Mac 上執行，除非你開啟 LAN，否則 API 只在你的 Mac 上監聽。只有在你連接遠端端點時，提示詞才會離開 Mac。

MLX Harness 能賺取 MLX 代幣嗎？

不能。MLX Harness 為你執行模型，只讀取公開的網路數據。為 AI 工作賺取 MLX 代幣的是 MLX Node。