M5 Ultra có chạy được mô hình 70B không?

Có. Mô hình 70B ở 4 bit cần khoảng 40 GB, còn M5 Ultra có tới 512 GB. Trần cho một cuộc chat vào khoảng 30 token mỗi giây.

M5 Ultra đạt bao nhiêu token mỗi giây?

Với mô hình 8B ở 4 bit, mức trần khoảng 267 token mỗi giây, và khi chạy thực tế đạt khoảng một nửa đến bốn phần năm mức đó. Mô hình lớn hơn chậm hơn theo tỷ lệ.

M5 Ultra có tốt cho AI không?

Khi chạy mô hình cục bộ, bộ nhớ và băng thông là quan trọng nhất. M5 Ultra có tới 512 GB với 1,2 TB/s, đủ cho các mô hình tới khoảng 682 tỷ tham số. Máy còn có thể kiếm tiền bằng cách chạy tác vụ AI cho MLX Network với MLX Node.

Chạy LLM cục bộ trên M5 Ultra: bộ nhớ, tốc độ, mô hình vừa

1Thông số quan trọng cho AI

Bộ nhớ hợp nhất	512 GB
Băng thông bộ nhớ	1,2 TB/s
Có trên	Mac Studio (2026)
Ghế riêng phù hợp	Ghế Ultra Latest: đào tối đa 480 MLX một ngày

2Mô hình nào vừa

Ở mức 4 bit cho mỗi trọng số, mô hình cần hơn nửa gigabyte một chút cho mỗi tỷ tham số, cộng thêm chỗ cho ngữ cảnh và macOS. Với 512 GB, M5 Ultra chứa thoải mái các mô hình tới khoảng 682 tỷ tham số.

Mô hình 4 bit	Bộ nhớ cần	Chạy được trên M5 Ultra
Mô hình 8B	4,5 GB	Có
Mô hình 14B	7,9 GB	Có
Mô hình 32B	18 GB	Có
Mô hình 70B	39,4 GB	Có
gpt-oss-120b, mixture-of-experts	65 GB	Có
Qwen3.5-397B-A17B, mixture-of-experts	223,3 GB	Có
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	Có

3Chạy nhanh đến đâu

Tốc độ sinh văn bản bị giới hạn bởi băng thông bộ nhớ: mỗi token mới đều phải đọc một lượt các trọng số đang hoạt động của mô hình. Lấy 1,2 TB/s của M5 Ultra chia cho số byte đọc mỗi token sẽ ra mức trần bên dưới. Khi chạy thực tế thường đạt khoảng 45% đến 80% mức đó (benchmark của llama.cpp).

Mô hình 4 bit	Đọc mỗi token	Trần cho một cuộc chat
Mô hình 8B	4,5 GB	267 token/giây
Mô hình 14B	7,9 GB	152 token/giây
Mô hình 32B	18 GB	67 token/giây
Mô hình 70B	39,4 GB	30 token/giây
gpt-oss-120b, mixture-of-experts	2,7 GB	444 token/giây
Qwen3.5-397B-A17B, mixture-of-experts	9,6 GB	125 token/giây
DeepSeek-V4.1-Flash, mixture-of-experts	9 GB	133 token/giây

Đo thực tế: trên M5 Ultra (80-core GPU), llama.cpp sinh 179 token mỗi giây với Llama-2-7B (Q4_0) trong benchmark công khai.

Chip thế hệ M5 có thêm bộ tăng tốc nơ-ron trong GPU nên đọc prompt nhanh hơn M4 nhiều lần: Apple đo được token đầu tiên xuất hiện sớm hơn 3,3 đến 4,1 lần với MLX (Apple).

5So sánh với các chip khác

6Câu hỏi

M5 Ultra có chạy được mô hình 70B không?: Có. Mô hình 70B ở 4 bit cần khoảng 40 GB, còn M5 Ultra có tới 512 GB. Trần cho một cuộc chat vào khoảng 30 token mỗi giây.
M5 Ultra đạt bao nhiêu token mỗi giây?: Với mô hình 8B ở 4 bit, mức trần khoảng 267 token mỗi giây, và khi chạy thực tế đạt khoảng một nửa đến bốn phần năm mức đó. Mô hình lớn hơn chậm hơn theo tỷ lệ.
M5 Ultra có tốt cho AI không?: Khi chạy mô hình cục bộ, bộ nhớ và băng thông là quan trọng nhất. M5 Ultra có tới 512 GB với 1,2 TB/s, đủ cho các mô hình tới khoảng 682 tỷ tham số. Máy còn có thể kiếm tiền bằng cách chạy tác vụ AI cho MLX Network với MLX Node.

Nguồn

Apple: M6 and M5 Ultraapple.com
llama.cpp: Apple Silicon benchmarksgithub.com