Mac Studio chip M5 Ultra có tốt cho LLM cục bộ không?

Với 512 GB, máy chạy tốt 61 trên 73 mô hình mở, lớn nhất là DeepSeek V4.1 Flash 1017, và viết khoảng 284–505 token mỗi giây với gpt-oss-20b. M5 Ultra đọc bộ nhớ ở 1.200 GB/s, yếu tố quyết định tốc độ viết.

Mac Studio chip M5 Ultra nên có bao nhiêu bộ nhớ để chạy AI?

Với 96 GB, máy chạy tốt 44 mô hình mở; với 512 GB là 61, lớn nhất là DeepSeek V4.1 Flash 1017. Bộ nhớ quyết định mô hình nào vừa và không thể nâng cấp sau này.

Mac Studio M5 Ultra cho AI cục bộ: chạy được LLM nào, theo bộ nhớ

Theo dung lượng bộ nhớ

Bộ nhớ	Chạy tốt	Lớn nhất mà chạy tốt	gpt-oss-20b
96 GB1.200 GB/s	44	gpt-oss-120b	284–505 tok/s
256 GB1.200 GB/s	54	MiMo V2.6 Flash	284–505 tok/s
512 GB1.200 GB/s	61	DeepSeek V4.1 Flash 1017	284–505 tok/s

Các mẫu máy: Mac Studio (M5 Max or M5 Ultra). Không phải mẫu máy nào cũng có mọi dung lượng bộ nhớ; Thông số kỹ thuật của Apple liệt kê cấu hình của từng mẫu.

Câu hỏi

Mac Studio chip M5 Ultra có tốt cho LLM cục bộ không?: Với 512 GB, máy chạy tốt 61 trên 73 mô hình mở, lớn nhất là DeepSeek V4.1 Flash 1017, và viết khoảng 284–505 token mỗi giây với gpt-oss-20b. M5 Ultra đọc bộ nhớ ở 1.200 GB/s, yếu tố quyết định tốc độ viết.
Mac Studio chip M5 Ultra nên có bao nhiêu bộ nhớ để chạy AI?: Với 96 GB, máy chạy tốt 44 mô hình mở; với 512 GB là 61, lớn nhất là DeepSeek V4.1 Flash 1017. Bộ nhớ quyết định mô hình nào vừa và không thể nâng cấp sau này.

Các Mac khác

Mac Studio với các chip khác:

Đối đầu:

So với PC và card đồ họa:

M5 Ultra cho AI cục bộ · Mac tốt nhất cho LLM cục bộ · Mọi Mac

Cách tính

Bộ nhớ: số tham số của mô hình ở 8, 6, 4, 3 hoặc 2 bit mỗi trọng số cộng với hệ số tỷ lệ theo nhóm của MLX (nửa bit mỗi trọng số), hoặc theo định dạng gốc, rồi thêm chỗ cho ngữ cảnh. Mặc định macOS cho GPU dùng khoảng 75% bộ nhớ hợp nhất. Tốc độ: băng thông bộ nhớ chia cho số byte đọc mỗi token là mức trần cho một cuộc trò chuyện; trong benchmark Apple Silicon công khai của llama.cpp, thực tế đạt khoảng 45% đến 80% mức đó, và đó là khoảng được hiển thị. Đây là ước tính, không phải số đo: hãy đo chính Mac của bạn trên MLX Bench. Số liệu mô hình lấy từ thẻ mô hình chính thức, số liệu chip từ Thông số kỹ thuật của Apple. Kiểm tra ngày 2026-10-19. Cùng dữ liệu với mlx.app/compare.