Jinsi ya kutumia MLX Harness.

1Sakinisha MLX Harness

Utahitaji Mac yenye Apple Silicon na macOS 14.5 au mpya zaidi. Injini ya inference imo ndani ya programu, hivyo hakuna kingine cha kusakinisha: ipakue, hamishia MLX Harness kwenye Applications na uifungue.

MLX Harness ni toleo lililorekebishwa la vMLX la JANGQ AI, lililotolewa chini ya Apache License 2.0. Injini iliyo chini ni ya vMLX, bila mabadiliko; MLX Harness hubadilisha programu inayoizunguka na kuongeza ukurasa wa Network.

2Chagua na upakue modeli

Modeli hutoka Hugging Face, nyingi zikiwa katika muundo wa MLX kutoka shirika la mlx-community. Kabla ya kupakua, angalia kinachotosha: Linganisha huonyesha modeli zipi zinatosha kwenye kumbukumbu ya Mac yako na takriban kila moja huandika kwa kasi gani.

1. Fungua Models na uchague Find & download. Tafuta, na upange kwa upakuaji, zinazovuma, likes, zilizosasishwa karibuni au ukubwa wa modeli; utafutaji huorodhesha modeli za MLX.
2. Bofya modeli usome README yake, kisha uipakue. Upakuaji huendelea chinichini, na Downloads huonyesha maendeleo yake.
3. Kwa modeli zenye vizuizi (gated) kama Llama, kwanza ongeza tokeni yako ya Hugging Face kwenye sehemu ya HF Token:, na ukubali leseni ya modeli kwenye huggingface.co.
4. Library & tools huorodhesha modeli zilizo kwenye Mac yako. Inspect Model huonyesha metadata ya modeli, Diagnose Model huendesha ukaguzi wa afya na Convert Model hubadilisha modeli ya Hugging Face kuwa modeli ya MLX iliyofanyiwa quantization: Balanced (4-bit), Quality (8-bit) au Compact (3-bit).

Upakuaji huenda kwenye folda ya cache ya Hugging Face isipokuwa uchague nyingine chini ya Download to:. MLX Harness pia hupata modeli ambazo tayari ziko kwenye cache hiyo, kwenye ~/.mlxstudio/models na kwenye folda unazoongeza chini ya Directories.

3Mazungumzo na picha

Mazungumzo na kufikiri (reasoning)

1. Fungua Chat & Images, chagua modeli kwenye menyu ya modeli ya upau wa zana wa mazungumzo, au Add local model. Huanza na chaguo-msingi zilizotambuliwa; chaguo za hali ya juu hubaki kwenye Servers & API.
2. Andika ujumbe. Modeli za kufikiri huonyesha fikra zao kwenye kisanduku tofauti. Enable Thinking kwenye mipangilio ya mazungumzo huiweka Auto, On au Off, na Reasoning Effort huweka kina chake kwa modeli zinazoikubali.
3. Modeli za kuona hupokea picha: dondosha faili kwenye mazungumzo au tumia kitufe cha kuambatisha. Faili za video, sauti na maandishi hufanya kazi na modeli zinazozikubali.
4. Mazungumzo huhifadhiwa kwenye upau wa pembeni na yanaweza kutafutwa. Mipangilio huhifadhiwa kwa kila modeli.

Unaweza pia kuzungumza na modeli iliyo mahali pengine: Connect remote endpoint hupokea anwani yoyote ya API inayooana na OpenAI. Hapo tu ndipo prompts zako huondoka kwenye Mac.

Tengeneza na uhariri picha

Kwenye Chat & Images, chagua Image. Modeli za picha huendeshwa kupitia mflux, na seva ya picha hupakia modeli kutoka kwenye folda kwenye Mac yako: Find mflux models hufungua utafutaji wa picha kwenye Models, kisha Load selected folder huianzisha.

Baadhi ya modeli za picha, kama Flux Dev, zina vizuizi kwenye Hugging Face na zinahitaji tokeni yako pamoja na leseni iliyokubaliwa kabla ya kupakuliwa.

4Mawakala na zana

MLX Harness inaweza kuruhusu modeli kuchukua hatua kwenye Mac yako. Kwenye mipangilio ya mazungumzo, washa Enable Built-in Coding Tools na uchague Working Directory: kila operesheni ya faili na amri huendeshwa ndani yake. Kisha washa au zima makundi ya zana:

Max Tool Iterations huweka kikomo cha raundi za miito ya zana ambazo ujumbe mmoja unaweza kuchukua (10 kwa chaguo-msingi). Zana za shell na faili hufanya kazi kwenye faili halisi, hivyo elekeza working directory kwenye mradi, si folda yako ya nyumbani, na utumie modeli unayoiamini kwa kazi hiyo.

5Itumie kutoka programu nyingine: API ya ndani

Kila modeli unayoianzisha hutolewa kwenye Mac yako. API Gateway kwenye http://localhost:8080 huelekeza kila ombi kwa modeli sahihi kwa jina lililo kwenye ombi, na huanzisha modeli iliyosimamishwa inapoombwa. Kila modeli pia ina port yake, kuanzia 8000 kwenda juu. Kwa chaguo-msingi ni Mac yako pekee inayoweza kuzifikia; kuwasha LAN huzifungua kwa mtandao wako.

Nyuma ya API, injini huhifadhi kwenye cache kile ambacho imeshasoma. Continuous Batching ikiwa imewashwa, Prefix Cache huruhusu mazungumzo marefu au maagizo yanayojirudia ya wakala wa kuandika msimbo kuruka sehemu ya kazi katika zamu inayofuata, KV Cache Quantization hupunguza ukubwa wa cache hiyo, na Disk Cache (Persistent) huihifadhi kwenye SSD. Hivi viko kwenye mipangilio ya seva ya kila modeli.

Ombi katika muundo wa OpenAI, kwa jina la modeli linaloonyeshwa kwenye ukurasa wa API:

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "YOUR-MODEL",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

SDK yoyote ya OpenAI hufanya kazi base_url ikiwekwa kuwa http://localhost:8080/v1; ufunguo unaweza kuwa maandishi yoyote isipokuwa ukiweka mmoja kwenye kipindi. Kwa mawakala wa kuandika msimbo, Coding Tool Integration hupanga Claude Code, Codex CLI, OpenCode, OpenClaw na Hermes Agent kwa Auto-Configure, au huonyesha Manual Setup. Kwa Claude Code, hiyo inamaanisha kuunganisha hiki ndani ya ~/.claude/settings.json:

{
  "env": {
    "ANTHROPIC_BASE_URL": "http://localhost:8080",
    "ANTHROPIC_MODEL": "YOUR-MODEL",
    "ANTHROPIC_API_KEY": "mlxstudio"
  }
}

6Ukurasa wa Network, na MLX Node

Network huonyesha MLX Network moja kwa moja kutoka mlx.app: Mac zilizo mtandaoni na zinazofanya kazi, tokeni kwa sekunde, tokeni za AI leo na nchi. Hukagua kama MLX Node imesakinishwa kwenye Mac hii na inaendeshwa, kisha huifungua au hukuelekeza kwenye upakuaji. Andika jina la pochi yako chini ya Your wallet na ubonyeze Show ili kutazama MLX iliyochimbwa ikiongezeka; jina huhifadhiwa kwenye Mac hii pekee.

MLX Harness yenyewe haichimbi kamwe. Huendesha modeli kwa ajili yako. MLX Node ni programu tofauti ya upau wa menyu inayokopesha muda wa Mac yako usiotumika kwa MLX Network na kupata tokeni za MLX: hadi MLX 1 kwa siku kwenye kiti cha bure, zikiwa zimefungwa kwa siku 30. Ukitumia zote mbili, hutumia kumbukumbu na GPU ileile, hivyo kikomo cha Memory MLX may use pamoja na Start na Stop za kuendesha mwenyewe kwenye MLX Node huizuia kukusumbua. Tokeni za MLX zinaweza kupoteza thamani; soma hatari.

7Maswali

Je, MLX Harness ni bure?

Ndiyo. Ni bure na ina leseni ya Apache License 2.0, kama vMLX, mradi ambao imejengwa juu yake.

Ninaweza kupakua MLX Harness lini?

Sasa hivi. Ni upakuaji wa bure kwenye harness.mlx.app na mlx.app/download, kwa Mac zenye Apple Silicon na macOS 14.5 au mpya zaidi. Msimbo chanzo uko kwenye GitHub: github.com/MLXapp/studio.

MLX Harness huendeshwa kwenye Mac zipi?

Mac zenye Apple Silicon (M1 au mpya zaidi) na macOS 14.5 au mpya zaidi. Kumbukumbu ya Mac yako huamua modeli zipi zinatosha; Linganisha kwenye mlx.app huzionyesha.

Je, MLX Harness hutuma prompts zangu popote?

Hapana. Modeli za ndani huendeshwa kwenye Mac yako, na API husikiliza kwenye Mac yako pekee isipokuwa uwashe LAN. Prompts huondoka kwenye Mac tu ukiunganisha endpoint ya mbali.

Je, MLX Harness hupata tokeni za MLX?

Hapana. MLX Harness huendesha modeli kwa ajili yako na husoma tu takwimu za umma za mtandao. MLX Node ndiyo programu inayopata tokeni za MLX kwa kazi ya AI.