LLMs auf den Mac laden und ausführen.

1Wo du Modelle findest

Hugging Face hostet die meisten Modelle mit offenen Gewichten. Dasselbe Modell gibt es meist in mehreren Versionen, und das Format entscheidet, welche App es ausführen kann:

Unsicher, welche Runtime du nehmen sollst? MLX vs. Ollama vs. llama.cpp vergleicht sie. Ganz neu dabei? Fang mit einem LLM auf dem Mac an.

2Eine Größe wählen, die in deinen Speicher passt

Die Gewichte eines Modells müssen mit Reserve in den Arbeitsspeicher passen. MLX speichert ein quantisiertes Gewicht als seine Bits plus eine gemeinsame Skala und einen Bias für jede Gruppe aus 64 Gewichten, also etwa ein halbes Bit mehr pro Gewicht (MLX). Damit kosten 4 Bit etwa 0,56 GB pro Milliarde Parameter und 8 Bit etwa 1,06 GB.

macOS lässt die GPU standardmäßig nur einen Teil des gemeinsamen Arbeitsspeichers nutzen; Compare geht von etwa drei Vierteln aus, und das README von mlx-lm zeigt, wie du das Limit ab macOS 15 mit sudo sysctl iogpu.wired_limit_mb=N anhebst (mlx-lm). Bei Mixture-of-Experts-Modellen bestimmen die Gesamtparameter den Speicherbedarf und die aktiven Parameter das Tempo. Compare rechnet das für jedes beliebte Modell und jeden Apple-Chip durch, und der beste Mac für lokale LLMs erklärt, warum die Bandbreite das Tempo bestimmt.

3Quantisierung: 4 Bit, 8 Bit und der Rest

Quantisierung speichert jedes Gewicht in weniger Bits, sodass das Modell weniger Speicher braucht und schneller läuft, auf Kosten von etwas Qualität. 4 Bit ist auf dem Mac der übliche Startpunkt. 8 Bit liegt näher am Original und ist doppelt so groß. Unter 4 Bit werden die Dateien klein, aber die Antworten früher schlechter; probiere sie nur, wenn ein größeres Modell sonst nicht passen würde.

• MLX-Versionen sagen es im Namen: -4bit, -8bit und manchmal Versionen mit gemischter Genauigkeit, die empfindliche Schichten mit mehr Bits behalten.
• GGUF-Dateien nutzen die Namen von llama.cpp: Q4_K_M, Q5_K_M, Q8_0 und so weiter. Startest du ein GGUF-Repository von Hugging Face in Ollama, ohne eine zu nennen, nimmt es Q4_K_M, falls vorhanden (Hugging Face).
• Erstelle deine eigene MLX-Version aus den Original-Gewichten: mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q schreibt eine 4-Bit-Kopie (mlx-lm).

4Speicherplatz und wo Modelle liegen

Ein Download ist etwa so groß wie die Gewichte in der Tabelle oben: Ein 8B-Modell in 4 Bit hat ein paar Gigabyte, ein 70B-Modell Dutzende Gigabyte. Mehrere Größen oder Versionen desselben Modells auszuprobieren summiert sich schnell.

mlx-lm und andere Hugging-Face-Tools legen Downloads in ~/.cache/huggingface/hub ab; setze HF_HOME oder HF_HUB_CACHE, um sie zu verschieben. hf cache ls zeigt, was dort liegt, und hf cache rm löscht ein Modell (Hugging Face). Ollama und LM Studio speichern Modelle in eigenen Ordnern und verwalten sie selbst.

5Zugangsbeschränkte Modelle und Hugging-Face-Tokens

Manche Modelle, darunter Llama, sind zugangsbeschränkt: Du musst die Bedingungen des Herstellers akzeptieren, bevor du sie herunterladen kannst (Hugging Face).

1. Melde dich bei einem kostenlosen Hugging-Face-Konto an und öffne die Seite des Modells.
2. Akzeptiere die Bedingungen mit der Schaltfläche auf der Seite (standardmäßig Agree and send request to access repo). Manche Hersteller geben Anfragen von Hand frei, das dauert länger.
3. Erstelle in deinen Hugging-Face-Einstellungen einen Access Token.
4. Gib den Token an deine Tools weiter: Führe hf auth login im Terminal für mlx-lm und andere Hugging-Face-Tools aus (Hugging Face), oder füge ihn im Hugging-Face-Token-Feld der App ein.

6Ausführen: vier Wege

mlx-lm: Apples MLX im Terminal

Installiere es mit pip und nenne dann ein beliebiges MLX-Modell auf Hugging Face; beim ersten Start wird es heruntergeladen (mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server stellt ein Modell über eine API im OpenAI-Stil unter localhost:8080 für andere Apps bereit (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: eine App mit Modellbrowser

LM Studio sucht und lädt Modelle von Hugging Face direkt in der App und führt auf Apple Silicon MLX-Modelle ebenso aus wie GGUF über llama.cpp. Es braucht Apple Silicon und macOS 14 oder neuer und empfiehlt 16 GB Arbeitsspeicher oder mehr (LM Studio).

Ollama: ein Befehl

Ollama führt Modelle aus seiner eigenen Bibliothek und jedes GGUF-Repository auf Hugging Face direkt aus, optional mit einem Quantisierungs-Tag (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: unsere kostenlose App

MLX Harness ist unsere kostenlose Mac-App auf Basis von vMLX: Sie sucht MLX-Modelle auf Hugging Face, chattet, führt Tools und Bildmodelle aus und stellt alles über eine lokale API bereit. Ihr Gateway nutzt ebenfalls Port 8080, also lass sie nicht gleichzeitig mit mlx_lm.server auf demselben Port laufen. Wenn du den Mac nicht nutzt, kann MLX Node ihn stattdessen an MLX Network verleihen.

7Fragen

Wo lade ich LLMs für den Mac herunter?

Bei Hugging Face. Achte auf MLX-Versionen, viele davon von mlx-community, oder GGUF-Dateien. LM Studio und Ollama können für dich suchen und herunterladen.

Welche Modellgröße sollte ich herunterladen?

Eine, deren Gewichte bequem in den Arbeitsspeicher deines Macs passen: in 4 Bit etwa 0,56 GB pro Milliarde Parameter, also etwa 4,5 GB für ein 8B-Modell und 39 GB für 70B, plus Platz für den Kontext. Compare auf mlx.app prüft das für deinen Mac.

MLX oder GGUF auf dem Mac?

Beide laufen gut auf Apple Silicon. MLX-Versionen sind für Apples MLX gemacht und laufen in mlx-lm, LM Studio und MLX Harness; GGUF-Dateien laufen in llama.cpp, Ollama und LM Studio.

Brauche ich ein Hugging-Face-Konto?

Nicht für öffentliche Modelle. Zugangsbeschränkte Modelle brauchen ein kostenloses Konto, eine akzeptierte Lizenz und einen Access Token.

Kann ich heruntergeladene Modelle offline nutzen?

Ja. Sobald die Dateien auf deinem Mac sind, läuft das Modell ohne Internetverbindung, und deine Prompts bleiben auf dem Mac.