Berdampingan
| M5 Ultra | RTX PRO 6000 | |
|---|---|---|
| Apa itu | Mac Studio (M5 Max or M5 Ultra) | Kartu grafis untuk PC desktop |
| Ukuran memori | 96, 256, 512 GB | 96 GB |
| Bandwidth memori | 1.200 GB/s | 1.792 GB/s |
| Untuk model, paling banyak | sekitar 384 GB | sekitar 95 GB |
| Model yang berjalan baik | 61 dari 73 | 50 dari 73 |
| Terukur: menulis | 179 tok/s | 274 tok/s |
| Terukur: membaca prompt | 4.945 tok/s | 14.855 tok/s |
Baris terukur: hasil tercepat tiap mesin di benchmark publik llama.cpp dengan Llama 2 7B Q4_0, saat menulis 128 token (tg128) dan membaca prompt 512 token (pp512), dalam token per detik. Mac memakai Metal, RTX PRO 6000 memakai CUDA. Hasil Apple Silicon · Hasil RTX PRO 6000 Untuk model, kami menghitung 96 GB milik RTX PRO 6000 sendiri dikurangi sekitar 1 GB, dan sekitar 75% memori terpadu Mac, bawaan macOS.
Di mana masing-masing unggul
- Kecepatan menulis. RTX PRO 6000 membaca memori sekitar 49% lebih cepat daripada M5 Ultra (1.792 vs 1.200 GB/s), jadi ia menulis sekitar 49% lebih cepat untuk model apa pun yang muat di keduanya.
- Ukuran model. M5 Ultra punya sekitar 384 GB untuk model, RTX PRO 6000 sekitar 95 GB. 61 dari 73 model terbuka populer berjalan baik di M5 Ultra, 50 di RTX PRO 6000.
- Membaca prompt panjang. Dalam uji terukur llama.cpp, RTX PRO 6000 membaca prompt sekitar 3× lebih cepat (14.855 vs 4.945 token per detik). Membaca prompt bergantung pada daya hitung GPU, bukan bandwidth memori, dan inilah yang menentukan lama menunggu kata pertama untuk dokumen panjang atau codebase.
- Perangkat lunak. RTX PRO 6000 memakai CUDA dari NVIDIA, yang didukung lebih dulu oleh sebagian besar perangkat lunak AI, termasuk kode pelatihan dan banyak alat gambar serta video. Di Mac, model dijalankan dengan MLX, backend Metal llama.cpp, atau backend MPS PyTorch.
- Di sekitarnya. Kartu grafis butuh PC di sekitarnya, dan 96 GB miliknya sendiri adalah batasnya: model yang tidak muat harus berjalan sebagian dari memori sistem PC yang jauh lebih lambat, atau dibagi ke kartu kedua.
- Mac. Ini juga komputer sehari-hari, dan menjalankan MLX Harness serta MLX Node, yang dibuat untuk Apple Silicon.
Kecepatan dengan model populer
Token per detik untuk satu percakapan, setiap chip pada ukuran memori terbesarnya (512 GB dan 96 GB), dengan versi terbaik model yang muat.
| Model | M5 Ultra | RTX PRO 6000 |
|---|---|---|
| Llama 3.1 8B Instruct8B | 64–113 8-bit | 95–169 8-bit |
| gpt-oss-20b21B · 3,6B aktif | 284–505 4,25-bit bawaan | 424–755 4,25-bit bawaan |
| Qwen3.6 35B A3B35B · 3B aktif | 169–300 8-bit | 252–448 8-bit |
| Qwen3.8 27B27B | 19–33 8-bit | 28–50 8-bit |
| Llama 3.3 70B Instruct70B | 14–24 4-bit | 11–19 8-bit |
| gpt-oss-120b117B · 5,1B aktif | 200–356 4,25-bit bawaan | 299–531 4,25-bit bawaan |
| Qwen3.5 122B A10B122B · 10B aktif | 51–91 8-bit | 144–256 4-bit |
| DeepSeek V4 Flash 0731284B · 13B aktif | 39–70 8-bit | terlalu besar |
Pertanyaan
- Apakah RTX PRO 6000 lebih cepat daripada M5 Ultra untuk LLM?
- RTX PRO 6000 membaca memori sekitar 49% lebih cepat daripada M5 Ultra (1.792 vs 1.200 GB/s), jadi ia menulis sekitar 49% lebih cepat untuk model apa pun yang muat di keduanya. Dalam uji terukur llama.cpp, RTX PRO 6000 membaca prompt sekitar 3× lebih cepat (14.855 vs 4.945 token per detik). Membaca prompt bergantung pada daya hitung GPU, bukan bandwidth memori, dan inilah yang menentukan lama menunggu kata pertama untuk dokumen panjang atau codebase.
- Mana yang bisa menjalankan model lebih besar, M5 Ultra atau RTX PRO 6000?
- M5 Ultra punya sekitar 384 GB untuk model, RTX PRO 6000 sekitar 95 GB. 61 dari 73 model terbuka populer berjalan baik di M5 Ultra, 50 di RTX PRO 6000.
- Apakah MLX Node berjalan di RTX PRO 6000?
- Tidak. MLX Node dan MLX Harness hanya berjalan di Mac dengan Apple Silicon, memakai framework MLX dari Apple.
Perbandingan lainnya
M5 Ultra untuk AI lokal · Bandingkan semua model · Mac terbaik untuk LLM lokal
Cara menghitungnya
Memori: parameter model pada 8, 6, 4, 3, atau 2 bit per bobot ditambah skala grup MLX (setengah bit per bobot), atau format bawaannya, ditambah ruang untuk konteks. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% memori terpadu. Kecepatan: bandwidth memori dibagi jumlah byte yang dibaca per token adalah batas atas untuk satu percakapan; dalam benchmark Apple Silicon publik llama.cpp, proses nyata mencapai sekitar 45% hingga 80% darinya, dan rentang itulah yang ditampilkan. Ini perkiraan, bukan pengukuran: ukur Mac Anda sendiri di MLX Bench. Angka model dari kartu model resmi masing-masing, angka chip dari Spesifikasi Teknis Apple. Diperiksa 2026-10-19. Data sama dengan mlx.app/compare.
Data RTX PRO 6000: NVIDIA: RTX PRO 6000 Blackwell Workstation Edition, NVIDIA: RTX PRO Desktop GPUs (compare table).