1De specificaties die tellen voor AI
| Geïntegreerd geheugen | 512 GB |
|---|---|
| Geheugenbandbreedte | 1,2 TB/s |
| Zit in | Mac Studio (2026) |
| Vaste plek ervoor | Ultra Latest-plek: delft tot 480 MLX per dag |
2Welke modellen passen
Bij 4 bits per gewicht heeft een model iets meer dan een halve gigabyte per miljard parameters nodig, plus ruimte voor de context en macOS. Met 512 GB biedt de M5 Ultra ruim plaats aan modellen tot ongeveer 682 miljard parameters.
| Model in 4-bit | Benodigd geheugen | Past op de M5 Ultra |
|---|---|---|
| 8B-model | 4,5 GB | Ja |
| 14B-model | 7,9 GB | Ja |
| 32B-model | 18 GB | Ja |
| 70B-model | 39,4 GB | Ja |
| gpt-oss-120b, mixture-of-experts | 65 GB | Ja |
| Qwen3.5-397B-A17B, mixture-of-experts | 223,3 GB | Ja |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | Ja |
3Hoe snel hij is
Tekst schrijven wordt begrensd door de geheugenbandbreedte: elke nieuwe token leest de actieve gewichten van het model één keer. Deel de 1,2 TB/s van de M5 Ultra door het aantal bytes dat per token wordt gelezen en je krijgt het plafond hieronder. In de praktijk haal je meestal zo'n 45% tot 80% daarvan (llama.cpp-benchmarks).
| Model in 4-bit | Gelezen per token | Plafond voor één chat |
|---|---|---|
| 8B-model | 4,5 GB | 267 tokens/s |
| 14B-model | 7,9 GB | 152 tokens/s |
| 32B-model | 18 GB | 67 tokens/s |
| 70B-model | 39,4 GB | 30 tokens/s |
| gpt-oss-120b, mixture-of-experts | 2,7 GB | 444 tokens/s |
| Qwen3.5-397B-A17B, mixture-of-experts | 9,6 GB | 125 tokens/s |
| DeepSeek-V4.1-Flash, mixture-of-experts | 9 GB | 133 tokens/s |
Gemeten: op de M5 Ultra (80-core GPU) genereert llama.cpp in zijn openbare benchmarks 179 tokens per seconde met Llama-2-7B (Q4_0).
Chips van de M5-generatie hebben neural accelerators in de GPU en lezen prompts daardoor meerdere keren sneller dan M4: Apple mat dat de eerste token met MLX 3,3 tot 4,1 keer eerder verschijnt (Apple).
5Vergelijk met andere chips
6Vragen
- Kan de M5 Ultra een 70B-model draaien?
- Ja. Een 70B-model in 4-bit heeft ongeveer 40 GB nodig, en de M5 Ultra heeft tot 512 GB. Reken op een plafond van ongeveer 30 tokens per seconde voor één chat.
- Hoeveel tokens per seconde haalt de M5 Ultra?
- Voor een 8B-model in 4-bit ligt het plafond rond 267 tokens per seconde, en in de praktijk haal je ongeveer de helft tot vier vijfde daarvan. Grotere modellen zijn naar verhouding trager.
- Is de M5 Ultra goed voor AI?
- Voor lokale modellen tellen geheugen en bandbreedte het zwaarst. De M5 Ultra heeft tot 512 GB met 1,2 TB/s, genoeg voor modellen tot ongeveer 682 miljard parameters. Met MLX Node kan hij ook verdienen door AI-werk uit te voeren voor MLX Network.
Bronnen
- Apple: M6 and M5 Ultraapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com