1Die Daten, die für KI zählen
| Gemeinsamer Arbeitsspeicher | 512 GB |
|---|---|
| Speicherbandbreite | 819 GB/s |
| Steckt in | Mac Studio (2025) |
| Passender dedizierter Platz | Ultra-Platz: schürft bis zu 320 MLX am Tag |
2Welche Modelle passen
Bei 4 Bit pro Gewicht braucht ein Modell etwas mehr als ein halbes Gigabyte pro Milliarde Parameter, dazu Platz für seinen Kontext und macOS. Mit 512 GB fasst der M3 Ultra bequem Modelle bis etwa 682 Milliarden Parameter.
| Modell in 4 Bit | Benötigter Speicher | Passt auf den M3 Ultra |
|---|---|---|
| 8B-Modell | 4,5 GB | Ja |
| 14B-Modell | 7,9 GB | Ja |
| 32B-Modell | 18 GB | Ja |
| 70B-Modell | 39,4 GB | Ja |
| gpt-oss-120b, Mixture-of-Experts | 65 GB | Ja |
| Qwen3.5-397B-A17B, Mixture-of-Experts | 223,3 GB | Ja |
| DeepSeek-V4.1-Flash, Mixture-of-Experts | 316 GB | Ja |
3Wie schnell er läuft
Beim Schreiben von Text begrenzt die Speicherbandbreite: Jeder neue Token liest die aktiven Gewichte des Modells einmal. Teilt man die 819 GB/s beim M3 Ultra durch die pro Token gelesenen Bytes, ergibt sich die Obergrenze unten. Echte Läufe erreichen meist etwa 45 % bis 80 % davon (Benchmarks von llama.cpp).
| Modell in 4 Bit | Gelesen pro Token | Obergrenze für einen Chat |
|---|---|---|
| 8B-Modell | 4,5 GB | 182 Tokens/s |
| 14B-Modell | 7,9 GB | 104 Tokens/s |
| 32B-Modell | 18 GB | 46 Tokens/s |
| 70B-Modell | 39,4 GB | 21 Tokens/s |
| gpt-oss-120b, Mixture-of-Experts | 2,7 GB | 303 Tokens/s |
| Qwen3.5-397B-A17B, Mixture-of-Experts | 9,6 GB | 85 Tokens/s |
| DeepSeek-V4.1-Flash, Mixture-of-Experts | 9 GB | 91 Tokens/s |
Gemessen: Auf dem M3 Ultra (80-core GPU) erzeugt llama.cpp in seinen öffentlichen Benchmarks 92 Tokens pro Sekunde mit Llama-2-7B (Q4_0).
5Mit anderen Chips vergleichen
6Fragen
- Kann der M3 Ultra ein 70B-Modell ausführen?
- Ja. Ein 70B-Modell in 4 Bit braucht etwa 40 GB, und der M3 Ultra hat bis zu 512 GB. Rechne mit einer Obergrenze von etwa 21 Tokens pro Sekunde für einen Chat.
- Wie viele Tokens pro Sekunde schafft der M3 Ultra?
- Bei einem 8B-Modell in 4 Bit liegt die Obergrenze bei etwa 182 Tokens pro Sekunde; echte Läufe erreichen ungefähr die Hälfte bis vier Fünftel davon. Größere Modelle sind entsprechend langsamer.
- Ist der M3 Ultra gut für KI?
- Für lokale Modelle zählen Speicher und Bandbreite am meisten. Der M3 Ultra hat bis zu 512 GB mit 819 GB/s, genug für Modelle bis etwa 682 Milliarden Parameter. Mit MLX Node kann er außerdem verdienen, indem er KI-Arbeit für MLX Network erledigt.
Quellen
- Apple: Mac Studio (2025) specssupport.apple.com
- llama.cpp: Apple Silicon benchmarksgithub.com