Cạnh nhau
| M5 Ultra | RTX PRO 6000 | |
|---|---|---|
| Đây là gì | Mac Studio (M5 Max or M5 Ultra) | Card đồ họa cho PC để bàn |
| Dung lượng bộ nhớ | 96, 256, 512 GB | 96 GB |
| Băng thông bộ nhớ | 1.200 GB/s | 1.792 GB/s |
| Cho mô hình, tối đa | khoảng 384 GB | khoảng 95 GB |
| Mô hình chạy tốt | 61 trên 73 | 50 trên 73 |
| Đo thực tế: viết | 179 tok/s | 274 tok/s |
| Đo thực tế: đọc prompt | 4.945 tok/s | 14.855 tok/s |
Các dòng đo thực tế: kết quả nhanh nhất của mỗi máy trong các benchmark công khai của llama.cpp với Llama 2 7B Q4_0, khi viết 128 token (tg128) và đọc một prompt 512 token (pp512), tính bằng token mỗi giây. Mac chạy Metal, RTX PRO 6000 chạy CUDA. Kết quả Apple Silicon · Kết quả RTX PRO 6000 Với mô hình, chúng tôi tính 96 GB riêng của RTX PRO 6000 trừ khoảng 1 GB, và khoảng 75% bộ nhớ hợp nhất của Mac, mức mặc định của macOS.
Mỗi bên mạnh ở đâu
- Tốc độ viết. RTX PRO 6000 đọc bộ nhớ nhanh hơn M5 Ultra khoảng 49% (1.792 so với 1.200 GB/s), nên viết nhanh hơn khoảng 49% với mọi mô hình vừa cả hai.
- Kích thước mô hình. M5 Ultra có khoảng 384 GB cho mô hình, RTX PRO 6000 khoảng 95 GB. 61 trong 73 mô hình mở phổ biến chạy tốt trên M5 Ultra, 50 trên RTX PRO 6000.
- Đọc prompt dài. Trong bài đo của llama.cpp, RTX PRO 6000 đọc prompt nhanh gấp khoảng 3 lần (14.855 so với 4.945 token mỗi giây). Việc đọc prompt phụ thuộc vào sức tính toán của GPU chứ không phải băng thông bộ nhớ, và quyết định thời gian chờ đến chữ đầu tiên với một tài liệu dài hay một codebase.
- Phần mềm. RTX PRO 6000 dùng CUDA của NVIDIA, nền tảng mà phần lớn phần mềm AI hỗ trợ trước tiên, kể cả mã huấn luyện và nhiều công cụ ảnh, video. Trên Mac, bạn chạy mô hình bằng MLX, backend Metal của llama.cpp hoặc backend MPS của PyTorch.
- Xung quanh. Card đồ họa cần một PC đi kèm, và 96 GB riêng của nó là giới hạn: mô hình không vừa phải chạy một phần từ bộ nhớ hệ thống chậm hơn nhiều của PC, hoặc chia sang một card thứ hai.
- Mac. Đây cũng là máy tính dùng hằng ngày, và chạy được MLX Harness cùng MLX Node, vốn làm cho Apple Silicon.
Tốc độ với các mô hình phổ biến
Token mỗi giây cho một cuộc trò chuyện, mỗi chip ở dung lượng bộ nhớ lớn nhất (512 GB và 96 GB), với phiên bản tốt nhất của mô hình vừa với máy.
| Mô hình | M5 Ultra | RTX PRO 6000 |
|---|---|---|
| Llama 3.1 8B Instruct8B | 64–113 8-bit | 95–169 8-bit |
| gpt-oss-20b21B · 3,6B hoạt động | 284–505 4,25-bit gốc | 424–755 4,25-bit gốc |
| Qwen3.6 35B A3B35B · 3B hoạt động | 169–300 8-bit | 252–448 8-bit |
| Qwen3.8 27B27B | 19–33 8-bit | 28–50 8-bit |
| Llama 3.3 70B Instruct70B | 14–24 4-bit | 11–19 8-bit |
| gpt-oss-120b117B · 5,1B hoạt động | 200–356 4,25-bit gốc | 299–531 4,25-bit gốc |
| Qwen3.5 122B A10B122B · 10B hoạt động | 51–91 8-bit | 144–256 4-bit |
| DeepSeek V4 Flash 0731284B · 13B hoạt động | 39–70 8-bit | quá lớn |
Câu hỏi
- RTX PRO 6000 có nhanh hơn M5 Ultra cho LLM không?
- RTX PRO 6000 đọc bộ nhớ nhanh hơn M5 Ultra khoảng 49% (1.792 so với 1.200 GB/s), nên viết nhanh hơn khoảng 49% với mọi mô hình vừa cả hai. Trong bài đo của llama.cpp, RTX PRO 6000 đọc prompt nhanh gấp khoảng 3 lần (14.855 so với 4.945 token mỗi giây). Việc đọc prompt phụ thuộc vào sức tính toán của GPU chứ không phải băng thông bộ nhớ, và quyết định thời gian chờ đến chữ đầu tiên với một tài liệu dài hay một codebase.
- M5 Ultra hay RTX PRO 6000 chạy được mô hình lớn hơn?
- M5 Ultra có khoảng 384 GB cho mô hình, RTX PRO 6000 khoảng 95 GB. 61 trong 73 mô hình mở phổ biến chạy tốt trên M5 Ultra, 50 trên RTX PRO 6000.
- MLX Node có chạy trên RTX PRO 6000 không?
- Không. MLX Node và MLX Harness chỉ chạy trên Mac dùng Apple Silicon, với framework MLX của Apple.
Thêm so sánh
M5 Ultra cho AI cục bộ · So sánh mọi mô hình · Mac tốt nhất cho LLM cục bộ
Cách tính
Bộ nhớ: số tham số của mô hình ở 8, 6, 4, 3 hoặc 2 bit mỗi trọng số cộng với hệ số tỷ lệ theo nhóm của MLX (nửa bit mỗi trọng số), hoặc theo định dạng gốc, rồi thêm chỗ cho ngữ cảnh. Mặc định macOS cho GPU dùng khoảng 75% bộ nhớ hợp nhất. Tốc độ: băng thông bộ nhớ chia cho số byte đọc mỗi token là mức trần cho một cuộc trò chuyện; trong benchmark Apple Silicon công khai của llama.cpp, thực tế đạt khoảng 45% đến 80% mức đó, và đó là khoảng được hiển thị. Đây là ước tính, không phải số đo: hãy đo chính Mac của bạn trên MLX Bench. Số liệu mô hình lấy từ thẻ mô hình chính thức, số liệu chip từ Thông số kỹ thuật của Apple. Kiểm tra ngày 2026-10-19. Cùng dữ liệu với mlx.app/compare.
Số liệu của RTX PRO 6000: NVIDIA: RTX PRO 6000 Blackwell Workstation Edition, NVIDIA: RTX PRO Desktop GPUs (compare table).