Wat kan jouw Mac draaien?
Kies je Mac, of een andere machine, en zie welke open AI-modellen in het geheugen passen en hoe snel hij ze draait. Berekend uit de modelkaart van elk model en het gepubliceerde geheugen en de bandbreedte van elke chip.
Apple M5 met 16 GB: standaard ongeveer 12 GB voor modellen, 153 GB/s geheugenbandbreedte. 20 van de 43 populaire modellen draaien erop. Eigen pagina Gemeten: 32 tokens/s met Llama 2 7B in 4 bits in llama.cpp (M5 (10-core GPU)).
Intelligentie: Artificial Analysis Intelligence Index v4.3.2, waar gemeten. Modelnamen linken naar hun officiële modelkaarten.
Zo is het berekend
Geheugen. Elk model staat in de hoogste precisie die past: 8, 6, 4, 3 of 2 bits per gewicht, plus de groepsschalen van MLX (een halve bit per gewicht), of het eigen formaat als het zo wordt uitgebracht. Op een Mac mag de GPU standaard ongeveer 75% van het geïntegreerde geheugen gebruiken; daarbovenop houden we ruimte voor de context.
Snelheid. Bij het schrijven leest elk token alle actieve gewichten één keer, dus geheugenbandbreedte gedeeld door die bytes is het plafond voor één gesprek. In de openbare Apple Silicon-benchmarks van llama.cpp halen echte runs ongeveer 45% tot 80% daarvan; dat is het getoonde bereik. Het inlezen van een lange prompt hangt af van rekenkracht en wordt niet getoond.
Bronnen. Parameters, context en licenties komen van de officiële modelkaart van elk model op Hugging Face (gelinkt vanaf de naam); geheugen en bandbreedte uit de specificaties van Apple en de fabrikanten. Gecontroleerd op 2026-10-19. Meet je eigen Mac met MLX Bench. Elke Mac, elk model en de volledige tabel zijn gratis te downloaden als JSON en CSV: open data.
Bladeren. Elke Mac, van een M1 met 8 GB tot een M5 Ultra met 512 GB, met elk model dat erop draait, en elk model met de kleinste Mac die het nodig heeft.
Zelf draaien. Stap voor stap: LLM’s downloaden en draaien op een Mac, MLX vs Ollama vs llama.cpp en de beste Mac voor lokale LLM’s. Als je Mac niets doet, kan hij MLX Tokens verdienen.
- Hoe weet ik of een LLM op mijn Mac draait?
- Vergelijk de grootte van het model in de precisie die je wilt met het geïntegreerde geheugen van je Mac. Standaard laat macOS de GPU ongeveer 75% daarvan gebruiken, en het model heeft ook ruimte nodig voor de context. Een 4-bitmodel heeft iets meer dan een halve gigabyte per miljard parameters nodig.
- Hoeveel tokens per seconde krijg ik?
- Schrijven wordt begrensd door de geheugenbandbreedte: elk token leest de actieve gewichten van het model één keer. Bandbreedte gedeeld door de bytes per token is het plafond voor één gesprek; echte runs halen meestal ongeveer 45% tot 80% daarvan.
- Waarom draaien mixture-of-experts-modellen sneller?
- Ze houden veel experts in het geheugen, maar gebruiken er per token maar een paar, dus elk token leest veel minder bytes. Ze hebben geheugen nodig voor het hele model, maar draaien zo snel als een veel kleiner model.
- Is 4-bit goed genoeg?
- Bij de meeste modellen blijft de kwaliteit met 4 bits dicht bij het origineel. Onder de 4 bits gaat de kwaliteit sneller achteruit; daarom zijn versies onder de 4 bits gemarkeerd.