RTX 5090 có nhanh hơn M5 Max cho LLM không?

RTX 5090 đọc bộ nhớ nhanh hơn M5 Max khoảng 192% (1.792 so với 614 GB/s), nên viết nhanh hơn khoảng 192% với mọi mô hình vừa cả hai. Trong bài đo của llama.cpp, RTX 5090 đọc prompt nhanh gấp khoảng 4,4 lần (14.073 so với 3.220 token mỗi giây). Việc đọc prompt phụ thuộc vào sức tính toán của GPU chứ không phải băng thông bộ nhớ, và quyết định thời gian chờ đến chữ đầu tiên với một tài liệu dài hay một codebase.

M5 Max hay RTX 5090 chạy được mô hình lớn hơn?

M5 Max có khoảng 96 GB cho mô hình, RTX 5090 khoảng 31 GB. 47 trong 73 mô hình mở phổ biến chạy tốt trên M5 Max, 38 trên RTX 5090.

MLX Node có chạy trên RTX 5090 không?

Không. MLX Node và MLX Harness chỉ chạy trên Mac dùng Apple Silicon, với framework MLX của Apple.

M5 Max vs RTX 5090 cho LLM: bộ nhớ, tốc độ, nên mua máy nào

Cạnh nhau

	M5 Max	RTX 5090
Đây là gì	MacBook Pro (14-inch, M5 Pro or M5 Max), MacBook Pro (16-inch, M5 Pro or M5 Max), Mac Studio (M5 Max or M5 Ultra)	Card đồ họa cho PC để bàn
Dung lượng bộ nhớ	36, 48, 64, 128 GB	32 GB
Băng thông bộ nhớ	460–614 GB/s	1.792 GB/s
Cho mô hình, tối đa	khoảng 96 GB	khoảng 31 GB
Mô hình chạy tốt	47 trên 73	38 trên 73
Đo thực tế: viết	120 tok/s	290 tok/s
Đo thực tế: đọc prompt	3.220 tok/s	14.073 tok/s

Các dòng đo thực tế: kết quả nhanh nhất của mỗi máy trong các benchmark công khai của llama.cpp với Llama 2 7B Q4_0, khi viết 128 token (tg128) và đọc một prompt 512 token (pp512), tính bằng token mỗi giây. Mac chạy Metal, RTX 5090 chạy CUDA. Kết quả Apple Silicon · Kết quả RTX 5090 Với mô hình, chúng tôi tính 32 GB riêng của RTX 5090 trừ khoảng 1 GB, và khoảng 75% bộ nhớ hợp nhất của Mac, mức mặc định của macOS.

Mỗi bên mạnh ở đâu

Tốc độ viết. RTX 5090 đọc bộ nhớ nhanh hơn M5 Max khoảng 192% (1.792 so với 614 GB/s), nên viết nhanh hơn khoảng 192% với mọi mô hình vừa cả hai.
Kích thước mô hình. M5 Max có khoảng 96 GB cho mô hình, RTX 5090 khoảng 31 GB. 47 trong 73 mô hình mở phổ biến chạy tốt trên M5 Max, 38 trên RTX 5090.
Đọc prompt dài. Trong bài đo của llama.cpp, RTX 5090 đọc prompt nhanh gấp khoảng 4,4 lần (14.073 so với 3.220 token mỗi giây). Việc đọc prompt phụ thuộc vào sức tính toán của GPU chứ không phải băng thông bộ nhớ, và quyết định thời gian chờ đến chữ đầu tiên với một tài liệu dài hay một codebase.
Phần mềm. RTX 5090 dùng CUDA của NVIDIA, nền tảng mà phần lớn phần mềm AI hỗ trợ trước tiên, kể cả mã huấn luyện và nhiều công cụ ảnh, video. Trên Mac, bạn chạy mô hình bằng MLX, backend Metal của llama.cpp hoặc backend MPS của PyTorch.
Xung quanh. Card đồ họa cần một PC đi kèm, và 32 GB riêng của nó là giới hạn: mô hình không vừa phải chạy một phần từ bộ nhớ hệ thống chậm hơn nhiều của PC, hoặc chia sang một card thứ hai.
Mac. Đây cũng là máy tính dùng hằng ngày, và chạy được MLX Harness cùng MLX Node, vốn làm cho Apple Silicon.

Tốc độ với các mô hình phổ biến

Token mỗi giây cho một cuộc trò chuyện, mỗi chip ở dung lượng bộ nhớ lớn nhất (128 GB và 32 GB), với phiên bản tốt nhất của mô hình vừa với máy.

Mô hình	M5 Max	RTX 5090
Llama 3.1 8B Instruct8B	33–58 8-bit	95–169 8-bit
gpt-oss-20b21B · 3,6B hoạt động	145–259 4,25-bit gốc	424–755 4,25-bit gốc
Qwen3.6 35B A3B35B · 3B hoạt động	86–154 8-bit	336–597 6-bit
Qwen3.8 27B27B	10–17 8-bit	28–50 8-bit
Llama 3.3 70B Instruct70B	4–7 8-bit	37–65 2-bit chất lượng thấp hơn
gpt-oss-120b117B · 5,1B hoạt động	102–182 4,25-bit gốc	quá lớn
Qwen3.5 122B A10B122B · 10B hoạt động	49–88 4-bit	quá lớn
DeepSeek V4 Flash 0731284B · 13B hoạt động	67–120 2-bit chất lượng thấp hơn	quá lớn

Câu hỏi

RTX 5090 có nhanh hơn M5 Max cho LLM không?: RTX 5090 đọc bộ nhớ nhanh hơn M5 Max khoảng 192% (1.792 so với 614 GB/s), nên viết nhanh hơn khoảng 192% với mọi mô hình vừa cả hai. Trong bài đo của llama.cpp, RTX 5090 đọc prompt nhanh gấp khoảng 4,4 lần (14.073 so với 3.220 token mỗi giây). Việc đọc prompt phụ thuộc vào sức tính toán của GPU chứ không phải băng thông bộ nhớ, và quyết định thời gian chờ đến chữ đầu tiên với một tài liệu dài hay một codebase.
M5 Max hay RTX 5090 chạy được mô hình lớn hơn?: M5 Max có khoảng 96 GB cho mô hình, RTX 5090 khoảng 31 GB. 47 trong 73 mô hình mở phổ biến chạy tốt trên M5 Max, 38 trên RTX 5090.
MLX Node có chạy trên RTX 5090 không?: Không. MLX Node và MLX Harness chỉ chạy trên Mac dùng Apple Silicon, với framework MLX của Apple.

Thêm so sánh

M5 Max cho AI cục bộ · So sánh mọi mô hình · Mac tốt nhất cho LLM cục bộ

Cách tính

Bộ nhớ: số tham số của mô hình ở 8, 6, 4, 3 hoặc 2 bit mỗi trọng số cộng với hệ số tỷ lệ theo nhóm của MLX (nửa bit mỗi trọng số), hoặc theo định dạng gốc, rồi thêm chỗ cho ngữ cảnh. Mặc định macOS cho GPU dùng khoảng 75% bộ nhớ hợp nhất. Tốc độ: băng thông bộ nhớ chia cho số byte đọc mỗi token là mức trần cho một cuộc trò chuyện; trong benchmark Apple Silicon công khai của llama.cpp, thực tế đạt khoảng 45% đến 80% mức đó, và đó là khoảng được hiển thị. Đây là ước tính, không phải số đo: hãy đo chính Mac của bạn trên MLX Bench. Số liệu mô hình lấy từ thẻ mô hình chính thức, số liệu chip từ Thông số kỹ thuật của Apple. Kiểm tra ngày 2026-10-19. Cùng dữ liệu với mlx.app/compare.

Số liệu của RTX 5090: NVIDIA: GeForce RTX 5090 (specs: 32 GB GDDR7, 512-bit, 575 W TGP), NVIDIA RTX Blackwell GPU Architecture whitepaper (Tables 1 and 4).