Is de MacBook Pro met M3 Max goed voor lokale LLM's?

Met 128 GB draait hij 47 van de 73 open modellen goed, tot Qwen3.5 122B A10B, en schrijft hij ongeveer 95–168 tokens per seconde met gpt-oss-20b. De M3 Max leest het geheugen met 400 GB/s; dat bepaalt hoe snel hij schrijft.

Hoeveel geheugen moet een MacBook Pro met M3 Max hebben voor AI?

Met 36 GB draait hij 33 open modellen goed; met 128 GB 47, tot Qwen3.5 122B A10B. Het geheugen bepaalt welke modellen passen en kan later niet worden uitgebreid.

MacBook Pro M3 Max voor lokale AI: welke LLM's per geheugen

Per geheugengrootte

Geheugen	Draaien goed	Grootste dat goed draait	gpt-oss-20b
36 GB300 GB/s	33	Qwen3.6 35B A3B	71–126 tok/s
48 GB400 GB/s	38	Qwen3.6 35B A3B	95–168 tok/s
64 GB400 GB/s	39	Nemotron 3.5 Bolt 74B A9B	95–168 tok/s
96 GB300 GB/s	38	gpt-oss-120b	71–126 tok/s
128 GB400 GB/s	47	Qwen3.5 122B A10B	95–168 tok/s

Modellen: MacBook Pro (14-inch, M3 Pro or M3 Max, Nov 2023), MacBook Pro (16-inch, Nov 2023). Niet elke geheugengrootte is bij elk model leverbaar; de technische specificaties van Apple vermelden waarmee elk model komt.

Vragen

Is de MacBook Pro met M3 Max goed voor lokale LLM's?: Met 128 GB draait hij 47 van de 73 open modellen goed, tot Qwen3.5 122B A10B, en schrijft hij ongeveer 95–168 tokens per seconde met gpt-oss-20b. De M3 Max leest het geheugen met 400 GB/s; dat bepaalt hoe snel hij schrijft.
Hoeveel geheugen moet een MacBook Pro met M3 Max hebben voor AI?: Met 36 GB draait hij 33 open modellen goed; met 128 GB 47, tot Qwen3.5 122B A10B. Het geheugen bepaalt welke modellen passen en kan later niet worden uitgebreid.

Zo is het berekend

Geheugen: de parameters van het model op 8, 6, 4, 3 of 2 bits per gewicht plus de groepsschalen van MLX (een halve bit per gewicht), of het eigen formaat van het model, met daarbovenop ruimte voor de context. Standaard laat macOS de GPU ongeveer 75% van het geïntegreerde geheugen gebruiken. Snelheid: de geheugenbandbreedte gedeeld door het aantal bytes dat per token wordt gelezen, is het plafond voor één gesprek; in de openbare Apple Silicon-benchmarks van llama.cpp halen echte runs ongeveer 45% tot 80% daarvan, en dat is het bereik dat we tonen. Dit zijn schattingen, geen metingen: meet je eigen Mac op MLX Bench. Modelgegevens uit elke officiële modelkaart, chipgegevens uit de technische specificaties van Apple. Gecontroleerd op 2026-10-19. Dezelfde gegevens als mlx.app/compare.

MacBook Pro met M3 Max voor lokale AI.

Per geheugengrootte

Vragen

Andere Macs

Zo is het berekend