DGX Spark có nhanh hơn M5 Ultra cho LLM không?

M5 Ultra đọc bộ nhớ nhanh hơn DGX Spark khoảng 340% (1.200 so với 273 GB/s), nên viết nhanh hơn khoảng 340% với mọi mô hình vừa cả hai. Trong bài đo của llama.cpp, M5 Ultra đọc prompt nhanh gấp khoảng 1,6 lần (4.945 so với 3.062 token mỗi giây). Việc đọc prompt phụ thuộc vào sức tính toán của GPU chứ không phải băng thông bộ nhớ, và quyết định thời gian chờ đến chữ đầu tiên với một tài liệu dài hay một codebase.

M5 Ultra hay DGX Spark chạy được mô hình lớn hơn?

M5 Ultra có khoảng 384 GB cho mô hình, DGX Spark khoảng 96 GB. 61 trong 73 mô hình mở phổ biến chạy tốt trên M5 Ultra, 39 trên DGX Spark.

MLX Node có chạy trên DGX Spark không?

Không. MLX Node và MLX Harness chỉ chạy trên Mac dùng Apple Silicon, với framework MLX của Apple.

M5 Ultra vs DGX Spark cho LLM: bộ nhớ, tốc độ, nên mua máy nào

Cạnh nhau

	M5 Ultra	DGX Spark
Đây là gì	Mac Studio (M5 Max or M5 Ultra)	Một máy tính nhỏ hoàn chỉnh
Dung lượng bộ nhớ	96, 256, 512 GB	128 GB
Băng thông bộ nhớ	1.200 GB/s	273 GB/s
Cho mô hình, tối đa	khoảng 384 GB	khoảng 96 GB
Mô hình chạy tốt	61 trên 73	39 trên 73
Đo thực tế: viết	179 tok/s	57 tok/s
Đo thực tế: đọc prompt	4.945 tok/s	3.062 tok/s

Các dòng đo thực tế: kết quả nhanh nhất của mỗi máy trong các benchmark công khai của llama.cpp với Llama 2 7B Q4_0, khi viết 128 token (tg128) và đọc một prompt 512 token (pp512), tính bằng token mỗi giây. Mac chạy Metal, DGX Spark chạy CUDA. Kết quả Apple Silicon · Kết quả DGX Spark Với mô hình, chúng tôi tính khoảng 75% bộ nhớ cho cả hai, mức mặc định của macOS, vì DGX Spark cũng dùng chung một bộ nhớ cho CPU và GPU. GPU của nó thật sự được dùng bao nhiêu tùy vào hệ điều hành và cài đặt.

Mỗi bên mạnh ở đâu

Tốc độ viết. M5 Ultra đọc bộ nhớ nhanh hơn DGX Spark khoảng 340% (1.200 so với 273 GB/s), nên viết nhanh hơn khoảng 340% với mọi mô hình vừa cả hai.
Kích thước mô hình. M5 Ultra có khoảng 384 GB cho mô hình, DGX Spark khoảng 96 GB. 61 trong 73 mô hình mở phổ biến chạy tốt trên M5 Ultra, 39 trên DGX Spark.
Đọc prompt dài. Trong bài đo của llama.cpp, M5 Ultra đọc prompt nhanh gấp khoảng 1,6 lần (4.945 so với 3.062 token mỗi giây). Việc đọc prompt phụ thuộc vào sức tính toán của GPU chứ không phải băng thông bộ nhớ, và quyết định thời gian chờ đến chữ đầu tiên với một tài liệu dài hay một codebase.
Phần mềm. DGX Spark dùng CUDA của NVIDIA, nền tảng mà phần lớn phần mềm AI hỗ trợ trước tiên, kể cả mã huấn luyện và nhiều công cụ ảnh, video. Trên Mac, bạn chạy mô hình bằng MLX, backend Metal của llama.cpp hoặc backend MPS của PyTorch.
Xung quanh. Cả hai đều là máy tính hoàn chỉnh, giữ mô hình trong một bộ nhớ dùng chung cho CPU và GPU.
Mac. Đây cũng là máy tính dùng hằng ngày, và chạy được MLX Harness cùng MLX Node, vốn làm cho Apple Silicon.

Tốc độ với các mô hình phổ biến

Token mỗi giây cho một cuộc trò chuyện, mỗi chip ở dung lượng bộ nhớ lớn nhất (512 GB và 128 GB), với phiên bản tốt nhất của mô hình vừa với máy.

Mô hình	M5 Ultra	DGX Spark
Llama 3.1 8B Instruct8B	64–113 8-bit	14–26 8-bit
gpt-oss-20b21B · 3,6B hoạt động	284–505 4,25-bit gốc	65–115 4,25-bit gốc
Qwen3.6 35B A3B35B · 3B hoạt động	169–300 8-bit	38–68 8-bit
Qwen3.8 27B27B	19–33 8-bit	4–8 8-bit
Llama 3.3 70B Instruct70B	14–24 4-bit	2–3 8-bit
gpt-oss-120b117B · 5,1B hoạt động	200–356 4,25-bit gốc	45–81 4,25-bit gốc
Qwen3.5 122B A10B122B · 10B hoạt động	51–91 8-bit	22–39 4-bit
DeepSeek V4 Flash 0731284B · 13B hoạt động	39–70 8-bit	30–53 2-bit chất lượng thấp hơn

Câu hỏi

DGX Spark có nhanh hơn M5 Ultra cho LLM không?: M5 Ultra đọc bộ nhớ nhanh hơn DGX Spark khoảng 340% (1.200 so với 273 GB/s), nên viết nhanh hơn khoảng 340% với mọi mô hình vừa cả hai. Trong bài đo của llama.cpp, M5 Ultra đọc prompt nhanh gấp khoảng 1,6 lần (4.945 so với 3.062 token mỗi giây). Việc đọc prompt phụ thuộc vào sức tính toán của GPU chứ không phải băng thông bộ nhớ, và quyết định thời gian chờ đến chữ đầu tiên với một tài liệu dài hay một codebase.
M5 Ultra hay DGX Spark chạy được mô hình lớn hơn?: M5 Ultra có khoảng 384 GB cho mô hình, DGX Spark khoảng 96 GB. 61 trong 73 mô hình mở phổ biến chạy tốt trên M5 Ultra, 39 trên DGX Spark.
MLX Node có chạy trên DGX Spark không?: Không. MLX Node và MLX Harness chỉ chạy trên Mac dùng Apple Silicon, với framework MLX của Apple.

Thêm so sánh

M5 Ultra cho AI cục bộ · So sánh mọi mô hình · Mac tốt nhất cho LLM cục bộ

Cách tính

Bộ nhớ: số tham số của mô hình ở 8, 6, 4, 3 hoặc 2 bit mỗi trọng số cộng với hệ số tỷ lệ theo nhóm của MLX (nửa bit mỗi trọng số), hoặc theo định dạng gốc, rồi thêm chỗ cho ngữ cảnh. Mặc định macOS cho GPU dùng khoảng 75% bộ nhớ hợp nhất. Tốc độ: băng thông bộ nhớ chia cho số byte đọc mỗi token là mức trần cho một cuộc trò chuyện; trong benchmark Apple Silicon công khai của llama.cpp, thực tế đạt khoảng 45% đến 80% mức đó, và đó là khoảng được hiển thị. Đây là ước tính, không phải số đo: hãy đo chính Mac của bạn trên MLX Bench. Số liệu mô hình lấy từ thẻ mô hình chính thức, số liệu chip từ Thông số kỹ thuật của Apple. Kiểm tra ngày 2026-10-19. Cùng dữ liệu với mlx.app/compare.

Số liệu của DGX Spark: NVIDIA: DGX Spark (specs).