Cara menggunakan MLX Harness.

1Pasang MLX Harness

Anda memerlukan Mac dengan Apple Silicon dan macOS 14.5 atau lebih baharu. Enjin inferens disertakan dalam aplikasi, jadi tiada apa-apa lagi yang perlu dipasang: muat turunnya, alihkan MLX Harness ke Applications dan bukanya.

MLX Harness ialah versi diubah suai bagi vMLX oleh JANGQ AI, yang dikeluarkan di bawah Apache License 2.0. Enjin di bawahnya ialah enjin vMLX, tanpa perubahan; MLX Harness mengubah aplikasi di sekelilingnya dan menambah halaman Network.

2Pilih dan muat turun model

Model datang daripada Hugging Face, kebanyakannya dalam format MLX daripada organisasi mlx-community. Sebelum memuat turun, semak apa yang muat: halaman Bandingkan menunjukkan model yang muat dalam memori Mac anda dan anggaran kelajuan setiap satu menulis.

1. Buka Models dan pilih Find & download. Cari, dan isih mengikut muat turun, sohor kini, suka, kemas kini terbaharu atau saiz model; carian menyenaraikan model MLX.
2. Klik model untuk membaca README-nya, kemudian muat turunnya. Muat turun berjalan di latar belakang, dan Downloads menunjukkan kemajuannya.
3. Untuk model berpagar (gated) seperti Llama, tambah dahulu token Hugging Face anda dalam medan HF Token:, dan terima lesen model itu di huggingface.co.
4. Library & tools menyenaraikan model pada Mac anda. Inspect Model menunjukkan metadata model, Diagnose Model menjalankan semakan kesihatan dan Convert Model menukar model Hugging Face kepada model MLX yang dikuantumkan: Balanced (4-bit), Quality (8-bit) atau Compact (3-bit).

Muat turun disimpan dalam folder cache Hugging Face anda melainkan anda memilih lokasi lain di bawah Download to:. MLX Harness juga menemui model yang sudah ada dalam cache itu, dalam ~/.mlxstudio/models dan dalam folder yang anda tambah di bawah Directories.

3Sembang dan imej

Sembang dan penaakulan

1. Buka Chat & Images, pilih model dalam menu model pada bar alat sembang, atau Add local model. Ia bermula dengan tetapan lalai yang dikesan; pilihan lanjutan kekal dalam Servers & API.
2. Taip mesej. Model penaakulan menunjukkan pemikirannya dalam kotak berasingan. Enable Thinking dalam tetapan sembang menetapkannya kepada Auto, On atau Off, dan Reasoning Effort menetapkan kedalamannya untuk model yang menyokongnya.
3. Model visi menerima imej: lepaskan fail ke dalam sembang atau gunakan butang lampiran. Fail video, audio dan teks berfungsi dengan model yang menerimanya.
4. Sembang disimpan dalam bar sisi dan boleh dicari. Tetapan disimpan bagi setiap model.

Anda juga boleh bersembang dengan model di tempat lain: Connect remote endpoint menerima mana-mana alamat API yang serasi dengan OpenAI. Hanya ketika itu prompt anda meninggalkan Mac.

Jana dan edit imej

Dalam Chat & Images, pilih Image. Model imej berjalan melalui mflux, dan pelayan imej memuatkan model daripada folder pada Mac anda: Find mflux models membuka carian imej dalam Models, kemudian Load selected folder memulakannya.

Sesetengah model imej, seperti Flux Dev, berpagar di Hugging Face dan memerlukan token anda serta lesen yang telah diterima sebelum ia boleh dimuat turun.

4Ejen dan alat

MLX Harness boleh membenarkan model bertindak pada Mac anda. Dalam tetapan sembang, hidupkan Enable Built-in Coding Tools dan pilih Working Directory: setiap operasi fail dan arahan berjalan di dalamnya. Kemudian hidupkan atau matikan kategori alat:

Max Tool Iterations mengehadkan berapa pusingan panggilan alat yang boleh diambil oleh satu mesej (10 secara lalai). Alat shell dan fail bertindak pada fail sebenar, jadi halakan working directory kepada sebuah projek, bukan folder utama anda, dan gunakan model yang anda percayai untuknya.

5Gunakannya daripada aplikasi lain: API tempatan

Setiap model yang anda mulakan disediakan pada Mac anda. API Gateway di http://localhost:8080 menghalakan setiap permintaan kepada model yang betul mengikut nama dalam permintaan, dan memulakan model yang terhenti apabila ia diminta. Setiap model juga mempunyai port sendiri, bermula dari 8000. Secara lalai hanya Mac anda boleh mencapainya; menghidupkan LAN membukanya kepada rangkaian anda.

Di sebalik API, enjin menyimpan dalam cache apa yang telah dibacanya. Dengan Continuous Batching dihidupkan, Prefix Cache membolehkan sembang panjang atau arahan berulang ejen pengekodan melangkau sebahagian kerja pada giliran seterusnya, KV Cache Quantization mengecilkan cache itu dan Disk Cache (Persistent) menyimpannya pada SSD. Semua ini ada dalam tetapan pelayan setiap model.

Permintaan dalam format OpenAI, dengan nama model yang ditunjukkan pada halaman API:

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "YOUR-MODEL",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Mana-mana SDK OpenAI berfungsi dengan base_url ditetapkan kepada http://localhost:8080/v1; kuncinya boleh jadi apa-apa teks melainkan anda menetapkannya pada sesi. Untuk ejen pengekodan, Coding Tool Integration menyediakan Claude Code, Codex CLI, OpenCode, OpenClaw dan Hermes Agent dengan Auto-Configure, atau menunjukkan Manual Setup. Untuk Claude Code, ini bermaksud menggabungkan perkara ini ke dalam ~/.claude/settings.json:

{
  "env": {
    "ANTHROPIC_BASE_URL": "http://localhost:8080",
    "ANTHROPIC_MODEL": "YOUR-MODEL",
    "ANTHROPIC_API_KEY": "mlxstudio"
  }
}

6Halaman Network, dan MLX Node

Network menunjukkan MLX Network secara langsung daripada mlx.app: Mac yang dalam talian dan sedang bekerja, token sesaat, token AI hari ini dan negara. Ia menyemak sama ada MLX Node dipasang pada Mac ini dan sedang berjalan, lalu membukanya atau memaut ke muat turunnya. Taip nama dompet anda di bawah Your wallet dan tekan Show untuk melihat MLX yang dilombongnya bertambah; nama itu disimpan pada Mac ini sahaja.

MLX Harness sendiri tidak pernah melombong. Ia menjalankan model untuk anda. MLX Node ialah aplikasi bar menu berasingan yang meminjamkan masa melahu Mac anda kepada MLX Network dan memperoleh token MLX: sehingga 1 MLX sehari pada kerusi percuma, dikunci selama 30 hari. Jika anda menggunakan kedua-duanya, ia berkongsi memori dan GPU yang sama, jadi had Memory MLX may use serta Start dan Stop manual dalam MLX Node memastikan ia tidak mengganggu anda. Token MLX boleh kehilangan nilai; baca risiko.

7Soalan

Adakah MLX Harness percuma?

Ya. Ia percuma dan dilesenkan di bawah Apache License 2.0, sama seperti vMLX, projek yang menjadi asasnya.

Bilakah saya boleh memuat turun MLX Harness?

Sekarang. Ia boleh dimuat turun secara percuma di harness.mlx.app dan mlx.app/download, untuk Mac Apple Silicon dengan macOS 14.5 atau lebih baharu. Kod sumbernya ada di GitHub: github.com/MLXapp/studio.

Mac mana yang boleh menjalankan MLX Harness?

Mac dengan Apple Silicon (M1 atau lebih baharu) dan macOS 14.5 atau lebih baharu. Memori Mac anda menentukan model yang muat; halaman Bandingkan di mlx.app menunjukkannya.

Adakah MLX Harness menghantar prompt saya ke mana-mana?

Tidak. Model tempatan berjalan pada Mac anda, dan API hanya mendengar pada Mac anda melainkan anda menghidupkan LAN. Prompt meninggalkan Mac hanya jika anda menyambungkan titik akhir jauh.

Adakah MLX Harness memperoleh token MLX?

Tidak. MLX Harness menjalankan model untuk anda dan hanya membaca angka rangkaian yang terbuka kepada umum. MLX Node ialah aplikasi yang memperoleh token MLX untuk kerja AI.