Magkatabi
| M5 Ultra | RTX PRO 6000 | |
|---|---|---|
| Ano ito | Mac Studio (M5 Max or M5 Ultra) | Graphics card para sa desktop PC |
| Mga memory size | 96, 256, 512 GB | 96 GB |
| Memory bandwidth | 1,200 GB/s | 1,792 GB/s |
| Para sa model, hanggang | mga 384 GB | mga 95 GB |
| Mga model na maayos tumakbo | 61 sa 73 | 50 sa 73 |
| Nasukat: pagsulat | 179 tok/s | 274 tok/s |
| Nasukat: pagbasa ng prompt | 4,945 tok/s | 14,855 tok/s |
Mga nasukat na hilera: ang pinakamabilis na resulta ng bawat makina sa mga pampublikong benchmark ng llama.cpp gamit ang Llama 2 7B Q4_0, sa pagsulat ng 128 token (tg128) at pagbasa ng prompt na 512 token (pp512), sa token bawat segundo. Metal ang gamit ng Mac, CUDA ang sa RTX PRO 6000. Mga resulta ng Apple Silicon · Mga resulta ng RTX PRO 6000 Para sa mga model, binibilang namin ang sariling 96 GB ng RTX PRO 6000 bawas mga 1 GB, at mga 75% ng unified memory ng Mac, ang default ng macOS.
Saan nananalo ang bawat isa
- Bilis ng pagsulat. Mga 49% na mas mabilis magbasa ng memory ang RTX PRO 6000 kaysa sa M5 Ultra (1,792 vs 1,200 GB/s), kaya mga 49% na mas mabilis itong magsulat sa anumang model na kasya sa dalawa.
- Laki ng model. Ang M5 Ultra ay may mga 384 GB para sa mga model, ang RTX PRO 6000 ay mga 95 GB. 61 sa 73 sikat na open model ang tumatakbo nang maayos sa M5 Ultra, 50 sa RTX PRO 6000.
- Pagbasa ng mahahabang prompt. Sa nasukat na test ng llama.cpp, nababasa ng RTX PRO 6000 ang isang prompt nang mga 3× na mas mabilis (14,855 laban sa 4,945 token bawat segundo). Nakasalalay ang pagbasa ng prompt sa compute ng GPU, hindi sa memory bandwidth, kaya ito ang nagtatakda ng hintay bago ang unang salita sa mahabang dokumento o codebase.
- Software. Gumagamit ang RTX PRO 6000 ng CUDA ng NVIDIA, na unang sinusuportahan ng karamihan ng AI software, kasama ang training code at maraming tool para sa larawan at video. Sa Mac, pinapatakbo ang mga model gamit ang MLX, ang Metal backend ng llama.cpp o ang MPS backend ng PyTorch.
- Sa paligid nito. Kailangan ng graphics card ng PC sa paligid nito, at ang sarili nitong 96 GB ang hangganan: ang model na hindi kasya ay kailangang tumakbo nang bahagya mula sa mas mabagal na system memory ng PC, o hatiin sa pangalawang card.
- Ang Mac. Pang-araw-araw na computer din ito, at pinapatakbo nito ang MLX Harness at MLX Node, na ginawa para sa Apple Silicon.
Bilis sa mga sikat na model
Token bawat segundo para sa isang usapan, bawat chip sa pinakamalaking memory size nito (512 GB at 96 GB), gamit ang pinakamagandang bersyon ng model na kasya.
| Model | M5 Ultra | RTX PRO 6000 |
|---|---|---|
| Llama 3.1 8B Instruct8B | 64–113 8-bit | 95–169 8-bit |
| gpt-oss-20b21B · 3.6B aktibo | 284–505 native na 4.25-bit | 424–755 native na 4.25-bit |
| Qwen3.6 35B A3B35B · 3B aktibo | 169–300 8-bit | 252–448 8-bit |
| Qwen3.8 27B27B | 19–33 8-bit | 28–50 8-bit |
| Llama 3.3 70B Instruct70B | 14–24 4-bit | 11–19 8-bit |
| gpt-oss-120b117B · 5.1B aktibo | 200–356 native na 4.25-bit | 299–531 native na 4.25-bit |
| Qwen3.5 122B A10B122B · 10B aktibo | 51–91 8-bit | 144–256 4-bit |
| DeepSeek V4 Flash 0731284B · 13B aktibo | 39–70 8-bit | masyadong malaki |
Mga tanong
- Mas mabilis ba ang RTX PRO 6000 kaysa sa M5 Ultra para sa LLM?
- Mga 49% na mas mabilis magbasa ng memory ang RTX PRO 6000 kaysa sa M5 Ultra (1,792 vs 1,200 GB/s), kaya mga 49% na mas mabilis itong magsulat sa anumang model na kasya sa dalawa. Sa nasukat na test ng llama.cpp, nababasa ng RTX PRO 6000 ang isang prompt nang mga 3× na mas mabilis (14,855 laban sa 4,945 token bawat segundo). Nakasalalay ang pagbasa ng prompt sa compute ng GPU, hindi sa memory bandwidth, kaya ito ang nagtatakda ng hintay bago ang unang salita sa mahabang dokumento o codebase.
- Alin ang kaya ang mas malalaking model, ang M5 Ultra o ang RTX PRO 6000?
- Ang M5 Ultra ay may mga 384 GB para sa mga model, ang RTX PRO 6000 ay mga 95 GB. 61 sa 73 sikat na open model ang tumatakbo nang maayos sa M5 Ultra, 50 sa RTX PRO 6000.
- Tumatakbo ba ang MLX Node sa RTX PRO 6000?
- Hindi. Tumatakbo lang ang MLX Node at MLX Harness sa mga Mac na may Apple Silicon, gamit ang MLX framework ng Apple.
Iba pang paghahambing
Ang M5 Ultra para sa local AI · Ihambing ang bawat model · Ang pinakamagandang Mac para sa local LLM
Paano ito kinuwenta
Memory: ang mga parameter ng model sa 8, 6, 4, 3 o 2 bit kada weight dagdag ang group scales ng MLX (kalahating bit kada weight), o ang native format nito, at may espasyo pa para sa context. Bilang default, mga 75% ng unified memory ang ipinapagamit ng macOS sa GPU. Bilis: ang memory bandwidth na hinati sa mga byte na binabasa kada token ang pinakamataas na posible para sa isang usapan; sa mga pampublikong benchmark ng llama.cpp sa Apple Silicon, umaabot ang totoong takbo sa mga 45% hanggang 80% nito, at iyon ang range na ipinapakita. Mga tantiya ito, hindi sukat: sukatin ang sarili mong Mac sa MLX Bench. Ang mga numero ng model ay mula sa opisyal na model card ng bawat isa, at ang sa chip ay mula sa Tech Specs ng Apple. Sinuri noong 2026-10-19. Parehong data ng mlx.app/compare.
Datos ng RTX PRO 6000: NVIDIA: RTX PRO 6000 Blackwell Workstation Edition, NVIDIA: RTX PRO Desktop GPUs (compare table).