1Die Daten, die für KI zählen
| Gemeinsamer Arbeitsspeicher | 512 GB |
|---|---|
| Speicherbandbreite | 1,2 TB/s |
| Steckt in | Mac Studio (2026) |
| Passender dedizierter Platz | Ultra Latest-Platz: schürft bis zu 480 MLX am Tag |
2Welche Modelle passen
Bei 4 Bit pro Gewicht braucht ein Modell etwas mehr als ein halbes Gigabyte pro Milliarde Parameter, dazu Platz für seinen Kontext und macOS. Mit 512 GB fasst der M5 Ultra bequem Modelle bis etwa 682 Milliarden Parameter.
| Modell in 4 Bit | Benötigter Speicher | Passt auf den M5 Ultra |
|---|---|---|
| 8B-Modell | 4,5 GB | Ja |
| 14B-Modell | 7,9 GB | Ja |
| 32B-Modell | 18 GB | Ja |
| 70B-Modell | 39,4 GB | Ja |
| gpt-oss-120b, Mixture-of-Experts | 65 GB | Ja |
| Qwen3.5-397B-A17B, Mixture-of-Experts | 223,3 GB | Ja |
| DeepSeek-V4.1-Flash, Mixture-of-Experts | 316 GB | Ja |
3Wie schnell er läuft
Beim Schreiben von Text begrenzt die Speicherbandbreite: Jeder neue Token liest die aktiven Gewichte des Modells einmal. Teilt man die 1,2 TB/s beim M5 Ultra durch die pro Token gelesenen Bytes, ergibt sich die Obergrenze unten. Echte Läufe erreichen meist etwa 45 % bis 80 % davon (Benchmarks von llama.cpp).
| Modell in 4 Bit | Gelesen pro Token | Obergrenze für einen Chat |
|---|---|---|
| 8B-Modell | 4,5 GB | 267 Tokens/s |
| 14B-Modell | 7,9 GB | 152 Tokens/s |
| 32B-Modell | 18 GB | 67 Tokens/s |
| 70B-Modell | 39,4 GB | 30 Tokens/s |
| gpt-oss-120b, Mixture-of-Experts | 2,7 GB | 444 Tokens/s |
| Qwen3.5-397B-A17B, Mixture-of-Experts | 9,6 GB | 125 Tokens/s |
| DeepSeek-V4.1-Flash, Mixture-of-Experts | 9 GB | 133 Tokens/s |
Gemessen: Auf dem M5 Ultra (80-core GPU) erzeugt llama.cpp in seinen öffentlichen Benchmarks 179 Tokens pro Sekunde mit Llama-2-7B (Q4_0).
Chips der M5-Generation haben Neural Accelerators in der GPU und lesen Prompts daher um ein Mehrfaches schneller als der M4: Laut Apples Messung kommt der erste Token mit MLX 3,3- bis 4,1-mal früher (Apple).
5Mit anderen Chips vergleichen
6Fragen
- Kann der M5 Ultra ein 70B-Modell ausführen?
- Ja. Ein 70B-Modell in 4 Bit braucht etwa 40 GB, und der M5 Ultra hat bis zu 512 GB. Rechne mit einer Obergrenze von etwa 30 Tokens pro Sekunde für einen Chat.
- Wie viele Tokens pro Sekunde schafft der M5 Ultra?
- Bei einem 8B-Modell in 4 Bit liegt die Obergrenze bei etwa 267 Tokens pro Sekunde; echte Läufe erreichen ungefähr die Hälfte bis vier Fünftel davon. Größere Modelle sind entsprechend langsamer.
- Ist der M5 Ultra gut für KI?
- Für lokale Modelle zählen Speicher und Bandbreite am meisten. Der M5 Ultra hat bis zu 512 GB mit 1,2 TB/s, genug für Modelle bis etwa 682 Milliarden Parameter. Mit MLX Node kann er außerdem verdienen, indem er KI-Arbeit für MLX Network erledigt.
Quellen
- Apple: M6 and M5 Ultraapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com