In het kort
- MLX is het machine-learningframework van Apple voor Apple Silicon. mlx-lm draait er taalmodellen op.
- llama.cpp is een snelle inferentie-engine in C/C++ die GGUF-modellen op bijna elke hardware draait, ook op Macs via Metal.
- Ollama is de makkelijke voorkant: één commando om een model te downloaden en te draaien, met een lokale API. Op Apple Silicon heeft het nu een preview op basis van MLX.
- Voor de snelste Mac-eigen resultaten kies je MLX; voor de grootste keuze aan modellen en platforms llama.cpp; voor de makkelijkste start Ollama of LM Studio.
1Wat elk ervan is
| MLX (mlx-lm) | llama.cpp | Ollama | |
|---|---|---|---|
| Gemaakt door | Apple, opensource (MIT) | Opensourcecommunity | Ollama, opensource |
| Draait op | Apple Silicon | Mac, Windows, Linux, veel GPU's | Mac, Windows, Linux |
| Modelformaat | MLX (safetensors) | GGUF | Eigen bibliotheek; GGUF en, in preview, MLX op de Mac |
| Het best voor | Snelheid en onderzoek op Macs | Overdraagbaarheid, keuze in kwantisatie | Gebruiksgemak, apps die een API nodig hebben |
| Training en fine-tuning | Ja (LoRA en volledig) | Beperkt | Nee |
2Snelheid op Apple Silicon
Bij het genereren van tekst worden alle drie door hetzelfde beperkt: geheugenbandbreedte. Verschillen komen van hoe goed elk de GPU benut en hoe de modellen zijn gekwantiseerd.
MLX is geschreven voor het geïntegreerde geheugen van Apple Silicon en gebruikt op M5-chips de neural accelerators van de GPU: Apple mat een 3,3 tot 4,1 keer kortere tijd tot de eerste token dan op M4 (Apple). In maart 2026 begon Ollama op Apple Silicon over te stappen op MLX, in een preview met flinke snelheidswinst voor ondersteunde modellen (Ollama), wat veel zegt over waar de prestaties op de Mac zitten.
llama.cpp blijft heel snel en goed gemeten op Macs; de openbare benchmarkthread is de beste referentie om chips te vergelijken (llama.cpp). Voor cijfers specifiek over MLX, zie MLX Bench.
3Welke je moet gebruiken
- Je wilt vandaag met een model chatten: LM Studio (een app die zowel MLX- als GGUF-modellen draait) of Ollama.
- Je bouwt een app die een lokale API nodig heeft: Ollama, of
mlx_lm.servervoor een OpenAI-compatibel endpoint op MLX. - Je wilt de meeste snelheid uit een Mac halen, of fine-tunen: MLX met mlx-lm.
- Je hebt dezelfde opzet nodig op Mac, Linux en Windows, of een specifieke GGUF-kwantisatie: llama.cpp.
Onze stapsgewijze gids voor een LLM draaien op je Mac behandelt ze allemaal.
4MLX voorbij één Mac
MLX draait ook over meerdere Macs, via Thunderbolt 5 met RDMA (Mac AI-clusters). En het is de motor van MLX Network: MLX Node voert AI-taken uit op het MLX-framework voor het netwerk en verdient MLX-tokens voor geverifieerd werk. MLX Network is een onafhankelijk project, niet gemaakt door Apple; dit is het verschil.
5Vragen
- Is MLX sneller dan llama.cpp?
- Op Apple Silicon is MLX bij generatie vaak even snel of sneller, en vooral bij het verwerken van prompts op M5-chips. De resultaten verschillen per model en kwantisatie, dus vergelijk op je eigen Mac.
- Kan Ollama MLX gebruiken?
- Ja, in preview sinds Ollama 0.19 op Apple Silicon, voor ondersteunde modellen, op Macs met meer dan 32 GB geheugen.
- Verschillen MLX- en GGUF-modellen?
- Het zijn verschillende bestandsformaten voor dezelfde soorten modellen. Veel populaire modellen verschijnen in allebei; de organisatie mlx-community op Hugging Face heeft duizenden MLX-conversies.