Log inMaak wallet aan

De M3 Ultra voor lokale AI.

De M3 Ultra heeft tot 512 GB geïntegreerd geheugen, dat hij met tot 819 GB/s leest. Hier lees je wat dat betekent voor het draaien van taalmodellen op een Mac met deze chip, berekend op basis van de cijfers van Apple zelf.

1De specificaties die tellen voor AI

Geïntegreerd geheugen512 GB
Geheugenbandbreedte819 GB/s
Zit inMac Studio (2025)
Vaste plek ervoorUltra-plek: delft tot 320 MLX per dag

2Welke modellen passen

Bij 4 bits per gewicht heeft een model iets meer dan een halve gigabyte per miljard parameters nodig, plus ruimte voor de context en macOS. Met 512 GB biedt de M3 Ultra ruim plaats aan modellen tot ongeveer 682 miljard parameters.

Model in 4-bitBenodigd geheugenPast op de M3 Ultra
8B-model4,5 GBJa
14B-model7,9 GBJa
32B-model18 GBJa
70B-model39,4 GBJa
gpt-oss-120b, mixture-of-experts65 GBJa
Qwen3.5-397B-A17B, mixture-of-experts223,3 GBJa
DeepSeek-V4.1-Flash, mixture-of-experts316 GBJa

3Hoe snel hij is

Tekst schrijven wordt begrensd door de geheugenbandbreedte: elke nieuwe token leest de actieve gewichten van het model één keer. Deel de 819 GB/s van de M3 Ultra door het aantal bytes dat per token wordt gelezen en je krijgt het plafond hieronder. In de praktijk haal je meestal zo'n 45% tot 80% daarvan (llama.cpp-benchmarks).

Model in 4-bitGelezen per tokenPlafond voor één chat
8B-model4,5 GB182 tokens/s
14B-model7,9 GB104 tokens/s
32B-model18 GB46 tokens/s
70B-model39,4 GB21 tokens/s
gpt-oss-120b, mixture-of-experts2,7 GB303 tokens/s
Qwen3.5-397B-A17B, mixture-of-experts9,6 GB85 tokens/s
DeepSeek-V4.1-Flash, mixture-of-experts9 GB91 tokens/s

Gemeten: op de M3 Ultra (80-core GPU) genereert llama.cpp in zijn openbare benchmarks 92 tokens per seconde met Llama-2-7B (Q4_0).

5Vergelijk met andere chips

6Vragen

Kan de M3 Ultra een 70B-model draaien?
Ja. Een 70B-model in 4-bit heeft ongeveer 40 GB nodig, en de M3 Ultra heeft tot 512 GB. Reken op een plafond van ongeveer 21 tokens per seconde voor één chat.
Hoeveel tokens per seconde haalt de M3 Ultra?
Voor een 8B-model in 4-bit ligt het plafond rond 182 tokens per seconde, en in de praktijk haal je ongeveer de helft tot vier vijfde daarvan. Grotere modellen zijn naar verhouding trager.
Is de M3 Ultra goed voor AI?
Voor lokale modellen tellen geheugen en bandbreedte het zwaarst. De M3 Ultra heeft tot 512 GB met 819 GB/s, genoeg voor modellen tot ongeveer 682 miljard parameters. Met MLX Node kan hij ook verdienen door AI-werk uit te voeren voor MLX Network.

Bronnen

  1. Apple: Mac Studio (2025) specssupport.apple.com
  2. llama.cpp: Apple Silicon benchmarksgithub.com
M3 Ultra voor lokale LLM's: geheugen, snelheid en wat past | MLX