Cách dùng MLX Harness.

1Cài đặt MLX Harness

Bạn cần một máy Mac dùng Apple Silicon chạy macOS 14.5 trở lên. Engine suy luận được đóng gói sẵn trong ứng dụng nên không phải cài thêm gì: tải về, kéo MLX Harness vào thư mục Ứng dụng và mở ra.

MLX Harness là phiên bản đã chỉnh sửa của vMLX do JANGQ AI phát triển, phát hành theo Apache License 2.0. Engine bên dưới là của vMLX, giữ nguyên; MLX Harness thay đổi phần ứng dụng bao quanh và thêm trang Network.

2Chọn và tải mô hình

Mô hình được lấy từ Hugging Face, phần lớn ở định dạng MLX do tổ chức mlx-community đăng tải. Trước khi tải, hãy kiểm tra mô hình nào vừa: Compare cho biết bộ nhớ Mac của bạn chứa được mô hình nào và mỗi mô hình viết nhanh khoảng bao nhiêu.

1. Mở Models và chọn Find & download. Tìm kiếm rồi sắp xếp theo lượt tải, xu hướng, lượt thích, cập nhật gần đây hoặc kích cỡ mô hình; kết quả tìm kiếm liệt kê các mô hình MLX.
2. Bấm vào một mô hình để đọc README, rồi tải về. Việc tải chạy ở chế độ nền, và Downloads hiển thị tiến độ.
3. Với các mô hình có giới hạn truy cập như Llama, trước tiên hãy nhập token Hugging Face vào ô HF Token: và chấp nhận giấy phép của mô hình trên huggingface.co.
4. Library & tools liệt kê các mô hình trên Mac của bạn. Inspect Model hiển thị siêu dữ liệu của mô hình, Diagnose Model chạy kiểm tra tình trạng và Convert Model chuyển một mô hình Hugging Face thành mô hình MLX đã lượng tử hóa: Balanced (4-bit), Quality (8-bit) hoặc Compact (3-bit).

Bản tải về được lưu vào thư mục bộ nhớ đệm Hugging Face, trừ khi bạn chọn nơi khác trong Download to:. MLX Harness cũng tìm thấy các mô hình đã có trong bộ nhớ đệm đó, trong ~/.mlxstudio/models và trong các thư mục bạn thêm ở Directories.

3Trò chuyện và hình ảnh

Trò chuyện và suy luận

1. Mở Chat & Images, chọn một mô hình trong menu mô hình trên thanh công cụ trò chuyện, hoặc chọn Add local model. Mô hình khởi động với các giá trị mặc định được phát hiện; tùy chọn nâng cao nằm ở Servers & API.
2. Nhập tin nhắn. Mô hình suy luận hiển thị quá trình suy nghĩ trong một khung riêng. Enable Thinking trong cài đặt trò chuyện đặt chế độ này thành Auto, On hoặc Off, và Reasoning Effort đặt độ sâu suy luận cho các mô hình hỗ trợ.
3. Mô hình thị giác nhận hình ảnh: thả tệp vào cuộc trò chuyện hoặc dùng nút đính kèm. Tệp video, âm thanh và văn bản dùng được với các mô hình chấp nhận chúng.
4. Các cuộc trò chuyện được lưu ở thanh bên và có thể tìm kiếm. Cài đặt được lưu riêng cho từng mô hình.

Bạn cũng có thể trò chuyện với một mô hình ở nơi khác: Connect remote endpoint nhận bất kỳ địa chỉ API tương thích OpenAI nào. Chỉ khi đó prompt của bạn mới rời khỏi Mac.

Tạo và chỉnh sửa ảnh

Trong Chat & Images, chọn Image. Mô hình hình ảnh chạy qua mflux, và máy chủ hình ảnh nạp mô hình từ một thư mục trên Mac của bạn: Find mflux models mở trang tìm mô hình hình ảnh trong Models, rồi Load selected folder khởi động nó.

Một số mô hình hình ảnh, như Flux Dev, bị giới hạn truy cập trên Hugging Face và cần token của bạn cùng giấy phép đã chấp nhận trước khi tải về.

4Agent và công cụ

MLX Harness có thể cho mô hình thao tác trên Mac của bạn. Trong cài đặt trò chuyện, bật Enable Built-in Coding Tools và chọn một Working Directory: mọi thao tác với tệp và mọi lệnh đều chạy bên trong thư mục đó. Sau đó bật hoặc tắt từng nhóm công cụ:

Max Tool Iterations giới hạn số vòng gọi công cụ mà một tin nhắn được dùng (mặc định là 10). Công cụ shell và tệp tác động lên tệp thật, vì vậy hãy trỏ thư mục làm việc vào một dự án chứ không phải thư mục người dùng của bạn, và dùng mô hình bạn tin tưởng.

5Dùng từ ứng dụng khác: API cục bộ

Mọi mô hình bạn khởi động đều được phục vụ trên Mac của bạn. API Gateway tại http://localhost:8080 chuyển mỗi yêu cầu đến đúng mô hình theo tên trong yêu cầu, và khởi động một mô hình đang dừng khi có yêu cầu gọi đến nó. Mỗi mô hình còn có cổng riêng, bắt đầu từ 8000. Theo mặc định chỉ Mac của bạn truy cập được; bật LAN sẽ mở chúng cho mạng nội bộ của bạn.

Phía sau API, engine lưu đệm những gì nó đã đọc. Khi bật Continuous Batching, Prefix Cache giúp một cuộc trò chuyện dài hoặc các chỉ dẫn lặp lại của agent lập trình bỏ qua phần việc đã làm ở lượt sau, KV Cache Quantization thu nhỏ bộ đệm đó, và Disk Cache (Persistent) giữ nó trên SSD. Các tùy chọn này nằm trong cài đặt máy chủ của từng mô hình.

Một yêu cầu theo định dạng OpenAI, với tên mô hình hiển thị trên trang API:

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "YOUR-MODEL",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Mọi SDK của OpenAI đều dùng được khi đặt base_url thành http://localhost:8080/v1; khóa có thể là bất kỳ chuỗi nào, trừ khi bạn đặt khóa cho phiên. Với agent lập trình, Coding Tool Integration thiết lập Claude Code, Codex CLI, OpenCode, OpenClaw và Hermes Agent bằng Auto-Configure, hoặc hiển thị Manual Setup. Với Claude Code, điều đó nghĩa là gộp nội dung sau vào ~/.claude/settings.json:

{
  "env": {
    "ANTHROPIC_BASE_URL": "http://localhost:8080",
    "ANTHROPIC_MODEL": "YOUR-MODEL",
    "ANTHROPIC_API_KEY": "mlxstudio"
  }
}

6Trang Network và MLX Node

Network hiển thị MLX Network trực tiếp từ mlx.app: số máy Mac đang trực tuyến và đang làm việc, số token mỗi giây, số token AI hôm nay và số quốc gia. Trang này kiểm tra xem MLX Node đã được cài và đang chạy trên Mac này chưa, rồi mở ứng dụng hoặc dẫn tới trang tải về. Nhập tên ví vào Your wallet và bấm Show để xem số MLX ví đào được tăng dần; tên chỉ được lưu trên Mac này.

Bản thân MLX Harness không bao giờ đào. Nó chạy mô hình cho bạn. MLX Node là một ứng dụng thanh menu riêng, cho MLX Network mượn thời gian rảnh của Mac và kiếm token MLX: tối đa 1 MLX một ngày với ghế miễn phí, bị khóa 30 ngày. Nếu dùng cả hai, chúng chia sẻ cùng bộ nhớ và GPU, nên giới hạn Memory MLX may use của MLX Node cùng chế độ bật và tắt thủ công sẽ giúp nó không cản trở bạn. Token MLX có thể mất giá; hãy đọc phần rủi ro.

7Câu hỏi

MLX Harness có miễn phí không?

Có. Ứng dụng miễn phí và được cấp phép theo Apache License 2.0, giống vMLX, dự án mà nó được xây dựng trên đó.

Khi nào tôi tải được MLX Harness?

Ngay bây giờ. Ứng dụng tải về miễn phí tại harness.mlx.app và mlx.app/download, dành cho Mac dùng Apple Silicon chạy macOS 14.5 trở lên. Mã nguồn có trên GitHub tại github.com/MLXapp/studio.

MLX Harness chạy trên những máy Mac nào?

Mac dùng Apple Silicon (M1 trở lên) với macOS 14.5 trở lên. Bộ nhớ của Mac quyết định mô hình nào vừa; Compare trên mlx.app cho bạn thấy.

MLX Harness có gửi prompt của tôi đi đâu không?

Không. Mô hình cục bộ chạy trên Mac của bạn, và API chỉ lắng nghe trên Mac của bạn trừ khi bạn bật LAN. Prompt chỉ rời Mac khi bạn kết nối một endpoint từ xa.

MLX Harness có kiếm được token MLX không?

Không. MLX Harness chạy mô hình cho bạn và chỉ đọc số liệu công khai của mạng lưới. MLX Node mới là ứng dụng kiếm token MLX cho công việc AI.