Kurz gesagt
- MLX ist Apples Framework für maschinelles Lernen auf Apple Silicon. mlx-lm führt darauf Sprachmodelle aus.
- llama.cpp ist eine schnelle Inferenz-Engine in C/C++, die GGUF-Modelle auf fast jeder Hardware ausführt, auch auf Macs über Metal.
- Ollama ist das einfache Frontend: ein Befehl, um ein Modell zu laden und auszuführen, mit lokaler API. Auf Apple Silicon gibt es jetzt eine Vorschau auf MLX-Basis.
- Für die schnellsten Mac-nativen Ergebnisse nimm MLX; für die größte Auswahl an Modellen und Plattformen llama.cpp; für den einfachsten Einstieg Ollama oder LM Studio.
1Was jedes ist
| MLX (mlx-lm) | llama.cpp | Ollama | |
|---|---|---|---|
| Entwickelt von | Apple, Open Source (MIT) | Open-Source-Community | Ollama, Open Source |
| Läuft auf | Apple Silicon | Mac, Windows, Linux, viele GPUs | Mac, Windows, Linux |
| Modellformat | MLX (safetensors) | GGUF | Eigene Bibliothek; GGUF und, als Vorschau, MLX auf dem Mac |
| Am besten für | Tempo und Forschung auf Macs | Portabilität, Wahl der Quantisierung | Einfache Bedienung, Apps, die eine API brauchen |
| Training und Fine-Tuning | Ja (LoRA und vollständig) | Eingeschränkt | Nein |
2Tempo auf Apple Silicon
Beim Generieren von Text sind alle drei durch dasselbe begrenzt: die Speicherbandbreite. Unterschiede entstehen dadurch, wie gut jedes die GPU nutzt und wie seine Modelle quantisiert sind.
MLX ist für den gemeinsamen Arbeitsspeicher von Apple Silicon geschrieben und nutzt auf M5-Chips die Neural Accelerators der GPU: Apple hat eine 3,3- bis 4,1-mal kürzere Zeit bis zum ersten Token gemessen als auf M4 (Apple). Im März 2026 begann Ollama, auf Apple Silicon zu MLX zu wechseln, in einer Vorschau mit deutlichen Geschwindigkeitsgewinnen für unterstützte Modelle (Ollama), was viel darüber sagt, wo die Leistung auf dem Mac liegt.
llama.cpp bleibt auf Macs sehr schnell und gut vermessen; sein öffentlicher Benchmark-Thread ist die beste Referenz, um Chips zu vergleichen (llama.cpp). Zahlen speziell zu MLX findest du auf MLX Bench.
3Welches du nehmen solltest
- Du willst heute mit einem Modell chatten: LM Studio (eine App, die MLX- und GGUF-Modelle ausführt) oder Ollama.
- Du baust eine App, die eine lokale API braucht: Ollama oder
mlx_lm.serverfür einen OpenAI-kompatiblen Endpunkt auf MLX. - Du willst das meiste Tempo aus einem Mac holen oder Fine-Tuning betreiben: MLX mit mlx-lm.
- Du brauchst dasselbe Setup auf Mac, Linux und Windows oder eine bestimmte GGUF-Quantisierung: llama.cpp.
Unser Schritt-für-Schritt-Ratgeber, wie du ein LLM auf deinem Mac ausführst, behandelt alle drei.
4MLX über einen Mac hinaus
MLX läuft auch über mehrere Macs hinweg, über Thunderbolt 5 mit RDMA (KI-Cluster mit Macs). Und es ist der Motor von MLX Network: MLX Node führt KI-Jobs auf dem MLX-Framework für das Netzwerk aus und verdient MLX Tokens für verifizierte Arbeit. MLX Network ist ein unabhängiges Projekt und stammt nicht von Apple; hier ist der Unterschied.
5Fragen
- Ist MLX schneller als llama.cpp?
- Auf Apple Silicon ist MLX bei der Generierung oft gleich schnell oder schneller, vor allem aber bei der Prompt-Verarbeitung auf M5-Chips. Die Ergebnisse hängen von Modell und Quantisierung ab, also vergleiche auf deinem eigenen Mac.
- Kann Ollama MLX nutzen?
- Ja, als Vorschau seit Ollama 0.19 auf Apple Silicon, für unterstützte Modelle, auf Macs mit mehr als 32 GB Arbeitsspeicher.
- Unterscheiden sich MLX- und GGUF-Modelle?
- Es sind verschiedene Dateiformate für dieselben Arten von Modellen. Viele beliebte Modelle erscheinen in beiden; die Organisation mlx-community auf Hugging Face bietet Tausende MLX-Konvertierungen.