De beste Mac voor lokale LLM's.

1Waarom geheugen en bandbreedte alles bepalen

Een taalmodel schrijft één token tegelijk, en voor elke token leest het alle actieve gewichten uit het geheugen. De snelheidsgrens voor één gesprek is daarom ruwweg de geheugenbandbreedte gedeeld door de grootte van de actieve gewichten. In de openbare benchmarks van llama.cpp haalt echte generatie op Apple chips 43% tot 80% van die grens (llama.cpp).

Het lezen van je prompt is anders: dat wordt beperkt door rekenkracht, en daarom verwerken chips van de M5-generatie, met neural accelerators in de GPU, prompts meerdere keren sneller dan eerdere chips (Apple).

2Alle chips vergeleken

Oudere chips werken nog prima als ze het geheugen hebben. Een M1 Max of M2 Max met 64 GB leest met 400 GB/s, meer dan welke basischip van nu ook, en kost tweedehands vaak veel minder.

3Welke Mac je moet kopen

Gewoon uitproberen: MacBook Air of Mac mini met 16 tot 32 GB

Draait modellen van 7B tot 14B zonder moeite, en met 32 GB modellen uit de 30B-klasse. Prima voor chatten, schrijven en lichte hulp bij programmeren.

Beste koop: Pro-chip met 64 GB

Een Mac mini of MacBook Pro met M4 Pro of M5 Pro kan modellen uit de 70B-klasse aan en draait middelgrote modellen op een goed tempo. De sweet spot voor de meeste ontwikkelaars.

Serieuze lokale AI: Max-chip met 128 GB

Draait gpt-oss-120b (ongeveer 65 GB in 4-bit) op een laptop; op basis van het bandbreedtecijfer van Apple ligt het theoretische plafond voor één stream op M5 Max rond de 225 tokens per seconde. De beste draagbare keuze.

De grootste modellen: Mac Studio met Ultra

Tot 512 GB met 1,2 TB/s bij M5 Ultra biedt plaats aan modellen met honderden miljarden parameters op één bureau. Voor nog grotere modellen kun je Macs via Thunderbolt 5 tot een cluster koppelen: zie Mac AI-clusters.

4Laat de Mac zichzelf terugverdienen

Een Mac die voor AI is gekocht, staat het grootste deel van de tijd te wachten. MLX Node is een gratis app die die vrije capaciteit uitleent aan MLX Network, AI-taken uitvoert op hetzelfde MLX-framework en MLX-tokens verdient voor geverifieerd werk. Een vaste plek die bij de chip past vermenigvuldigt wat hij verdient: een Pro-plek draait op vol tempo op een Pro- of Max-chip, een Ultra-plek op een Ultra-chip.

Vergelijk je Mac eerst op MLX Bench: daar zie je gemeten tokens per seconde voor open modellen op elke chip.

5Vragen

Is 16 GB genoeg voor een lokaal LLM?

Ja, voor modellen tot ongeveer 14 miljard parameters in 4-bit. Voor grotere modellen of lange contexten is 32 GB of meer een stuk comfortabeler.

Mac Studio of MacBook Pro voor LLM's?

Beide zijn er met Max-chips en tot 128 GB. De MacBook Pro is draagbaar; de Mac Studio blijft koeler onder langdurige belasting en is de enige Mac met Ultra-chips en tot 512 GB.

Is een Mac beter dan een Nvidia-GPU voor lokale AI?

Voor de grootste modellen thuis vaak wel: het geïntegreerde geheugen van een Mac kan veel meer bevatten dan het geheugen van een consumentenvideokaart. Een high-end kaart van Nvidia is sneller bij modellen die in zijn geheugen passen.

Maakt de M5 LLM's sneller?

Ja, vooral bij het lezen van prompts: Apple mat met MLX dat de eerste token op M5 3,3 tot 4,1 keer sneller verschijnt dan op M4. De generatiesnelheid groeit met de geheugenbandbreedte, die van M4 naar M5 met 28% steeg.