So nutzt du MLX Harness.

1MLX Harness installieren

Du brauchst einen Mac mit Apple Silicon und macOS 14.5 oder neuer. Die Inferenz-Engine steckt in der App, du musst also nichts weiter installieren: herunterladen, MLX Harness in „Programme“ ziehen und öffnen.

MLX Harness ist eine veränderte Version von vMLX von JANGQ AI, veröffentlicht unter der Apache License 2.0. Die Engine darunter ist die von vMLX, unverändert; MLX Harness ändert die App drumherum und ergänzt die Seite Network.

2Ein Modell auswählen und herunterladen

Die Modelle kommen von Hugging Face, die meisten im MLX-Format von der Organisation mlx-community. Prüfe vor dem Download, was passt: Compare zeigt, welche Modelle in den Speicher deines Macs passen und ungefähr wie schnell jedes schreibt.

1. Öffne Models und wähle Find & download. Suche und sortiere nach Downloads, Trends, Likes, letzter Aktualisierung oder Modellgröße; die Suche listet MLX-Modelle.
2. Klicke auf ein Modell, um sein README zu lesen, und lade es dann herunter. Downloads laufen im Hintergrund, und Downloads zeigt ihren Fortschritt.
3. Für zugangsbeschränkte Modelle wie Llama trägst du zuerst deinen Hugging-Face-Token im Feld HF Token: ein und akzeptierst die Lizenz des Modells auf huggingface.co.
4. Library & tools listet die Modelle auf deinem Mac. Inspect Model zeigt die Metadaten eines Modells, Diagnose Model führt Prüfungen aus und Convert Model macht aus einem Hugging-Face-Modell ein quantisiertes MLX-Modell: Balanced (4-bit), Quality (8-bit) oder Compact (3-bit).

Downloads landen in deinem Hugging-Face-Cache-Ordner, außer du wählst unter Download to: einen anderen. MLX Harness findet auch Modelle, die schon in diesem Cache liegen, in ~/.mlxstudio/models und in Ordnern, die du unter Directories hinzufügst.

3Chat und Bilder

Chat und Reasoning

1. Öffne Chat & Images und wähle im Modellmenü der Chat-Leiste ein Modell, oder Add local model. Es startet mit den erkannten Standardwerten; erweiterte Optionen bleiben in Servers & API.
2. Schreib eine Nachricht. Reasoning-Modelle zeigen ihr Nachdenken in einem eigenen Kasten. Enable Thinking in den Chat-Einstellungen stellt es auf Auto, On oder Off, und Reasoning Effort legt bei Modellen, die das unterstützen, die Tiefe fest.
3. Vision-Modelle nehmen Bilder an: Zieh eine Datei in den Chat oder nutze die Anhang-Taste. Video-, Audio- und Textdateien funktionieren mit Modellen, die sie annehmen.
4. Chats werden in der Seitenleiste gespeichert und sind durchsuchbar. Einstellungen werden pro Modell gespeichert.

Du kannst auch mit einem Modell chatten, das woanders läuft: Connect remote endpoint nimmt die Adresse jeder OpenAI-kompatiblen API an. Nur dann verlassen deine Prompts den Mac.

Bilder erzeugen und bearbeiten

Wähle in Chat & Images den Modus Image. Bildmodelle laufen über mflux, und der Bildserver lädt ein Modell aus einem Ordner auf deinem Mac: Find mflux models öffnet die Bildsuche in Models, danach startet Load selected folder das Modell.

Manche Bildmodelle, etwa Flux Dev, sind auf Hugging Face zugangsbeschränkt und brauchen vor dem Download deinen Token und eine akzeptierte Lizenz.

4Agenten und Tools

MLX Harness kann ein Modell auf deinem Mac handeln lassen. Schalte in den Chat-Einstellungen Enable Built-in Coding Tools ein und wähle ein Working Directory: Jede Dateioperation und jeder Befehl läuft darin. Dann schaltest du die Tool-Kategorien ein oder aus:

Max Tool Iterations begrenzt, wie viele Runden von Tool-Aufrufen eine Nachricht auslösen kann (standardmäßig 10). Shell- und Datei-Tools arbeiten mit echten Dateien, also richte das Arbeitsverzeichnis auf ein Projekt, nicht auf deinen Benutzerordner, und nutze dafür ein Modell, dem du vertraust.

5Aus anderen Apps nutzen: die lokale API

Jedes Modell, das du startest, wird auf deinem Mac bereitgestellt. Das API Gateway unter http://localhost:8080 leitet jede Anfrage anhand des Modellnamens in der Anfrage an das richtige Modell weiter und startet ein gestopptes Modell, wenn es angefragt wird. Jedes Modell hat außerdem einen eigenen Port, ab 8000 aufwärts. Standardmäßig erreicht nur dein Mac sie; mit LAN öffnest du sie für dein Netzwerk.

Hinter der API speichert die Engine im Cache, was sie schon gelesen hat. Mit Continuous Batching lässt der Prefix Cache einen langen Chat oder die wiederholten Anweisungen eines Coding-Agenten in der nächsten Runde Arbeit überspringen, KV Cache Quantization verkleinert diesen Cache und Disk Cache (Persistent) hält ihn auf der SSD. Das findest du in den Server-Einstellungen jedes Modells.

Eine Anfrage im OpenAI-Format, mit dem Modellnamen, den die API-Seite zeigt:

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "YOUR-MODEL",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Jedes OpenAI-SDK funktioniert mit base_url auf http://localhost:8080/v1; der Schlüssel kann ein beliebiger Text sein, außer du legst für die Sitzung einen fest. Für Coding-Agenten richtet Coding Tool Integration Claude Code, Codex CLI, OpenCode, OpenClaw und Hermes Agent mit Auto-Configure ein oder zeigt ein Manual Setup. Für Claude Code heißt das, dies in ~/.claude/settings.json einzufügen:

{
  "env": {
    "ANTHROPIC_BASE_URL": "http://localhost:8080",
    "ANTHROPIC_MODEL": "YOUR-MODEL",
    "ANTHROPIC_API_KEY": "mlxstudio"
  }
}

6Die Seite Network und MLX Node

Network zeigt MLX Network live von mlx.app: Macs online und bei der Arbeit, Tokens pro Sekunde, KI-Tokens heute und Länder. Die Seite prüft, ob MLX Node auf diesem Mac installiert ist und läuft, und öffnet es oder verlinkt den Download. Gib unter Your wallet den Namen deiner Wallet ein und drück auf Show, um ihr geschürftes MLX hochzählen zu sehen; der Name bleibt nur auf diesem Mac.

MLX Harness selbst schürft nie. Die App führt Modelle für dich aus. MLX Node ist die separate Menüleisten-App, die die freie Zeit deines Macs an MLX Network verleiht und MLX Tokens verdient: bis zu 1 MLX am Tag auf einem kostenlosen Platz, 30 Tage gesperrt. Nutzt du beide, teilen sie sich denselben Arbeitsspeicher und dieselbe GPU; das Limit Memory MLX may use von MLX Node und manuelles Start und Stop halten es dir aus dem Weg. MLX Tokens können an Wert verlieren; lies die Risiken.

7Fragen

Ist MLX Harness kostenlos?

Ja. Es ist kostenlos und steht unter der Apache License 2.0, wie vMLX, das Projekt, auf dem es basiert.

Wann kann ich MLX Harness herunterladen?

Ab sofort. Es gibt die App kostenlos auf harness.mlx.app und mlx.app/download, für Macs mit Apple Silicon und macOS 14.5 oder neuer. Der Quellcode liegt auf GitHub unter github.com/MLXapp/studio.

Auf welchen Macs läuft MLX Harness?

Auf Macs mit Apple Silicon (M1 oder neuer) und macOS 14.5 oder neuer. Der Arbeitsspeicher deines Macs entscheidet, welche Modelle passen; Compare auf mlx.app zeigt sie.

Sendet MLX Harness meine Prompts irgendwohin?

Nein. Lokale Modelle laufen auf deinem Mac, und die API lauscht nur auf deinem Mac, außer du schaltest LAN ein. Prompts verlassen den Mac nur, wenn du einen entfernten Endpoint verbindest.

Verdient MLX Harness MLX Tokens?

Nein. MLX Harness führt Modelle für dich aus und liest nur öffentliche Netzwerkzahlen. MLX Node ist die App, die MLX Tokens für KI-Arbeit verdient.