Ein LLM auf deinem Mac.

1Was auf deinen Mac passt

Die Gewichte eines Modells müssen in den Arbeitsspeicher passen, mit Reserve für den Kontext und macOS. Bei 4 Bit pro Gewicht rechnest du mit etwa 0,55 bis 0,6 GB pro Milliarde Parameter.

Das Tempo ist eine eigene Frage: Für jeden neuen Token müssen die aktiven Gewichte einmal aus dem Speicher gelesen werden, daher skalieren die Tokens pro Sekunde mit der Speicherbandbreite. Unser Ratgeber zum besten Mac für lokale LLMs behandelt jeden Chip.

2Der einfache Weg: LM Studio

LM Studio ist eine kostenlose Mac-App mit Chatfenster und Modellbrowser. Auf Apple Silicon führt sie Modelle in Apples MLX-Format ebenso aus wie im GGUF-Format von llama.cpp.

1. Lade LM Studio und öffne es.
2. Suche nach einem Modell, nimm auf Apple Silicon bevorzugt eine MLX-Version und wähle eine Größe, die in deinen Speicher passt.
3. Lade es und fang an zu chatten. Du kannst auch den lokalen Server für andere Apps einschalten.

3Ein Befehl: Ollama

Ollama führt Modelle im Terminal aus und stellt sie anderen Apps auf deinem Mac bereit. Nach der Installation lädt und startet ein einziger Befehl ein Modell:

ollama run llama3.2

Seit Version 0.19 hat Ollama auf Apple Silicon eine Vorschau, die für unterstützte Modelle auf Apples MLX-Framework läuft, mit deutlichen Geschwindigkeitsgewinnen; die Vorschau setzt einen Mac mit mehr als 32 GB Arbeitsspeicher voraus (Ollama).

4Der schnellste Weg: Apples MLX und mlx-lm

MLX ist Apples Open-Source-Framework für maschinelles Lernen auf Apple Silicon, und mlx-lm ist sein Paket für Sprachmodelle. Tausende Modelle stehen in der Organisation mlx-community auf Hugging Face bereit.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

Mit mlx_lm.chat führst du ein Gespräch im Terminal, mit mlx_lm.server startest du eine lokale API, die andere Apps aufrufen können. Auf M5-Chips nutzt MLX die neuen Neural Accelerators in der GPU: Apple hat gemessen, dass der erste Token 3,3- bis 4,1-mal früher kommt als auf M4 (Apple Machine Learning Research).

5Erst messen, dann arbeiten lassen

MLX Bench ist eine offene Bestenliste des MLX-Tempos auf jedem Apple Silicon Chip: Tokens pro Sekunde bei Generierung und Prompt sowie Spitzenspeicher. Führ das Skript aus einer einzigen Datei auf deinem Mac aus und sieh, wo er landet.

Wenn du deinen Mac nicht nutzt, kann er KI für andere ausführen. MLX Node ist eine kostenlose App, die KI-Jobs für MLX Network auf demselben MLX-Framework ausführt und MLX Tokens für verifizierte Arbeit verdient, innerhalb der Grenzen, die du festlegst.

6Fragen

Kann ein MacBook Air ein LLM ausführen?

Ja. Ein MacBook Air mit 16 GB führt 7B- bis 14B-Modelle in 4 Bit bequem aus, mit 32 GB Modelle bis etwa 30B. Es ist langsamer als ein Mac mit Pro- oder Max-Chip, der mehr Speicherbandbreite hat.

Ist MLX auf dem Mac schneller als Ollama?

Oft, weil MLX für Apple Silicon geschrieben ist. Ollamas eigene Vorschau auf MLX-Basis meldet auf Apple Silicon deutliche Geschwindigkeitsgewinne. Unser Ratgeber MLX vs. Ollama vergleicht beide im Detail.

Funktionieren lokale Modelle offline?

Ja. Einmal geladen, läuft das Modell vollständig auf deinem Mac, und deine Prompts verlassen ihn nie.

Wie viel Speicher brauche ich für ein 70B-Modell?

Etwa 40 GB für die Gewichte in 4 Bit, also einen Mac mit 64 GB oder mehr. Mixture-of-Experts-Modelle ähnlicher Qualität brauchen unter Umständen mehr Speicher, laufen aber schneller.