Kan de M3 Max een 70B-model draaien?

Ja. Een 70B-model in 4-bit heeft ongeveer 40 GB nodig, en de M3 Max heeft tot 128 GB. Reken op een plafond van ongeveer 10 tokens per seconde voor één chat.

Hoeveel tokens per seconde haalt de M3 Max?

Voor een 8B-model in 4-bit ligt het plafond rond 89 tokens per seconde, en in de praktijk haal je ongeveer de helft tot vier vijfde daarvan. Grotere modellen zijn naar verhouding trager.

Is de M3 Max goed voor AI?

Voor lokale modellen tellen geheugen en bandbreedte het zwaarst. De M3 Max heeft tot 128 GB met 400 GB/s, genoeg voor modellen tot ongeveer 170 miljard parameters. Met MLX Node kan hij ook verdienen door AI-werk uit te voeren voor MLX Network.

M3 Max voor lokale LLM's: geheugen, snelheid en wat past

1De specificaties die tellen voor AI

Geïntegreerd geheugen	128 GB
Geheugenbandbreedte	400 GB/s, of 300 GB/s bij de lagere configuratie
Zit in	14- and 16-inch MacBook Pro (2023)
Vaste plek ervoor	Pro-plek: delft tot 80 MLX per dag

2Welke modellen passen

Bij 4 bits per gewicht heeft een model iets meer dan een halve gigabyte per miljard parameters nodig, plus ruimte voor de context en macOS. Met 128 GB biedt de M3 Max ruim plaats aan modellen tot ongeveer 170 miljard parameters.

Model in 4-bit	Benodigd geheugen	Past op de M3 Max
8B-model	4,5 GB	Ja
14B-model	7,9 GB	Ja
32B-model	18 GB	Ja
70B-model	39,4 GB	Ja
gpt-oss-120b, mixture-of-experts	65 GB	Ja
Qwen3.5-397B-A17B, mixture-of-experts	223,3 GB	Nee
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	Nee

3Hoe snel hij is

Tekst schrijven wordt begrensd door de geheugenbandbreedte: elke nieuwe token leest de actieve gewichten van het model één keer. Deel de 400 GB/s van de M3 Max door het aantal bytes dat per token wordt gelezen en je krijgt het plafond hieronder. In de praktijk haal je meestal zo'n 45% tot 80% daarvan (llama.cpp-benchmarks).

Model in 4-bit	Gelezen per token	Plafond voor één chat
8B-model	4,5 GB	89 tokens/s
14B-model	7,9 GB	51 tokens/s
32B-model	18 GB	22 tokens/s
70B-model	39,4 GB	10 tokens/s
gpt-oss-120b, mixture-of-experts	2,7 GB	148 tokens/s

5Vergelijk met andere chips

6Vragen

Kan de M3 Max een 70B-model draaien?: Ja. Een 70B-model in 4-bit heeft ongeveer 40 GB nodig, en de M3 Max heeft tot 128 GB. Reken op een plafond van ongeveer 10 tokens per seconde voor één chat.
Hoeveel tokens per seconde haalt de M3 Max?: Voor een 8B-model in 4-bit ligt het plafond rond 89 tokens per seconde, en in de praktijk haal je ongeveer de helft tot vier vijfde daarvan. Grotere modellen zijn naar verhouding trager.
Is de M3 Max goed voor AI?: Voor lokale modellen tellen geheugen en bandbreedte het zwaarst. De M3 Max heeft tot 128 GB met 400 GB/s, genoeg voor modellen tot ongeveer 170 miljard parameters. Met MLX Node kan hij ook verdienen door AI-werk uit te voeren voor MLX Network.

Bronnen

Apple: M3, M3 Pro and M3 Maxapple.com
Apple: MacBook Pro (M3 Pro or M3 Max) specssupport.apple.com