Naast elkaar
| M5 Ultra | RTX PRO 6000 | |
|---|---|---|
| Wat het is | Mac Studio (M5 Max or M5 Ultra) | Een videokaart voor een desktop-pc |
| Geheugengroottes | 96, 256, 512 GB | 96 GB |
| Geheugenbandbreedte | 1.200 GB/s | 1.792 GB/s |
| Voor modellen, hooguit | ongeveer 384 GB | ongeveer 95 GB |
| Modellen die goed draaien | 61 van 73 | 50 van 73 |
| Gemeten: schrijven | 179 tok/s | 274 tok/s |
| Gemeten: prompt lezen | 4.945 tok/s | 14.855 tok/s |
Gemeten rijen: het snelste resultaat van elke machine in de openbare benchmarks van llama.cpp met Llama 2 7B Q4_0, bij het schrijven van 128 tokens (tg128) en het lezen van een prompt van 512 tokens (pp512), in tokens per seconde. De Mac draaide op Metal, de RTX PRO 6000 op CUDA. Resultaten Apple Silicon · Resultaten RTX PRO 6000 Voor modellen rekenen we bij de RTX PRO 6000 met zijn eigen 96 GB min ongeveer 1 GB, en bij de Mac met ongeveer 75% van het gedeelde geheugen, de standaard van macOS.
Waar elk wint
- Schrijfsnelheid. De RTX PRO 6000 leest het geheugen ongeveer 49% sneller dan de M5 Ultra (1.792 tegen 1.200 GB/s), dus hij schrijft ongeveer 49% sneller met elk model dat in beide past.
- Modelgrootte. De M5 Ultra heeft ongeveer 384 GB voor modellen, de RTX PRO 6000 ongeveer 95 GB. 61 van de 73 populaire open modellen draaien goed op de M5 Ultra, 50 op de RTX PRO 6000.
- Lange prompts lezen. In de gemeten test van llama.cpp leest de RTX PRO 6000 een prompt ongeveer 3× zo snel (14.855 tegen 4.945 tokens per seconde). Een prompt lezen hangt af van de rekenkracht van de GPU, niet van de geheugenbandbreedte, en bepaalt hoe lang je wacht op het eerste woord bij een lang document of een codebase.
- Software. De RTX PRO 6000 gebruikt NVIDIA’s CUDA, dat de meeste AI-software als eerste ondersteunt, waaronder trainingscode en veel beeld- en videotools. Op een Mac draai je modellen in plaats daarvan met MLX, de Metal-backend van llama.cpp of de MPS-backend van PyTorch.
- Eromheen. Een videokaart heeft een pc eromheen nodig, en zijn eigen 96 GB is de grens: een model dat niet past, moet deels uit het veel tragere werkgeheugen van de pc draaien, of over een tweede kaart verdeeld worden.
- De Mac. Het is ook een computer voor elke dag, en hij draait MLX Harness en MLX Node, gemaakt voor Apple Silicon.
Snelheid met populaire modellen
Tokens per seconde voor één gesprek, elke chip met zijn grootste geheugen (512 GB en 96 GB), met de beste versie van het model die past.
| Model | M5 Ultra | RTX PRO 6000 |
|---|---|---|
| Llama 3.1 8B Instruct8B | 64–113 8 bits | 95–169 8 bits |
| gpt-oss-20b21B · 3,6B actief | 284–505 4,25 bits native | 424–755 4,25 bits native |
| Qwen3.6 35B A3B35B · 3B actief | 169–300 8 bits | 252–448 8 bits |
| Qwen3.8 27B27B | 19–33 8 bits | 28–50 8 bits |
| Llama 3.3 70B Instruct70B | 14–24 4 bits | 11–19 8 bits |
| gpt-oss-120b117B · 5,1B actief | 200–356 4,25 bits native | 299–531 4,25 bits native |
| Qwen3.5 122B A10B122B · 10B actief | 51–91 8 bits | 144–256 4 bits |
| DeepSeek V4 Flash 0731284B · 13B actief | 39–70 8 bits | te groot |
Vragen
- Is de RTX PRO 6000 sneller dan de M5 Ultra voor LLM's?
- De RTX PRO 6000 leest het geheugen ongeveer 49% sneller dan de M5 Ultra (1.792 tegen 1.200 GB/s), dus hij schrijft ongeveer 49% sneller met elk model dat in beide past. In de gemeten test van llama.cpp leest de RTX PRO 6000 een prompt ongeveer 3× zo snel (14.855 tegen 4.945 tokens per seconde). Een prompt lezen hangt af van de rekenkracht van de GPU, niet van de geheugenbandbreedte, en bepaalt hoe lang je wacht op het eerste woord bij een lang document of een codebase.
- Welke draait grotere modellen, de M5 Ultra of de RTX PRO 6000?
- De M5 Ultra heeft ongeveer 384 GB voor modellen, de RTX PRO 6000 ongeveer 95 GB. 61 van de 73 populaire open modellen draaien goed op de M5 Ultra, 50 op de RTX PRO 6000.
- Draait MLX Node op de RTX PRO 6000?
- Nee. MLX Node en MLX Harness draaien alleen op Macs met Apple Silicon, met Apples MLX-framework.
Meer vergelijkingen
De M5 Ultra voor lokale AI · Vergelijk alle modellen · De beste Mac voor lokale LLM's
Zo is het berekend
Geheugen: de parameters van het model op 8, 6, 4, 3 of 2 bits per gewicht plus de groepsschalen van MLX (een halve bit per gewicht), of het eigen formaat van het model, met daarbovenop ruimte voor de context. Standaard laat macOS de GPU ongeveer 75% van het geïntegreerde geheugen gebruiken. Snelheid: de geheugenbandbreedte gedeeld door het aantal bytes dat per token wordt gelezen, is het plafond voor één gesprek; in de openbare Apple Silicon-benchmarks van llama.cpp halen echte runs ongeveer 45% tot 80% daarvan, en dat is het bereik dat we tonen. Dit zijn schattingen, geen metingen: meet je eigen Mac op MLX Bench. Modelgegevens uit elke officiële modelkaart, chipgegevens uit de technische specificaties van Apple. Gecontroleerd op 2026-10-19. Dezelfde gegevens als mlx.app/compare.
Gegevens van de RTX PRO 6000: NVIDIA: RTX PRO 6000 Blackwell Workstation Edition, NVIDIA: RTX PRO Desktop GPUs (compare table).