M3 Pro có chạy được mô hình 70B không?

Không thoải mái. Mô hình 70B ở 4 bit cần khoảng 40 GB, còn M3 Pro có tối đa 36 GB. Các mô hình tới khoảng 48B tham số chạy tốt.

M3 Pro đạt bao nhiêu token mỗi giây?

Với mô hình 8B ở 4 bit, mức trần khoảng 33 token mỗi giây, và khi chạy thực tế đạt khoảng một nửa đến bốn phần năm mức đó. Mô hình lớn hơn chậm hơn theo tỷ lệ.

M3 Pro có tốt cho AI không?

Khi chạy mô hình cục bộ, bộ nhớ và băng thông là quan trọng nhất. M3 Pro có tới 36 GB với 150 GB/s, đủ cho các mô hình tới khoảng 48 tỷ tham số. Máy còn có thể kiếm tiền bằng cách chạy tác vụ AI cho MLX Network với MLX Node.

Chạy LLM cục bộ trên M3 Pro: bộ nhớ, tốc độ, mô hình vừa

1Thông số quan trọng cho AI

Bộ nhớ hợp nhất	36 GB
Băng thông bộ nhớ	150 GB/s
Có trên	14- and 16-inch MacBook Pro (2023)
Ghế riêng phù hợp	Ghế Pro: đào tối đa 80 MLX một ngày

2Mô hình nào vừa

Ở mức 4 bit cho mỗi trọng số, mô hình cần hơn nửa gigabyte một chút cho mỗi tỷ tham số, cộng thêm chỗ cho ngữ cảnh và macOS. Với 36 GB, M3 Pro chứa thoải mái các mô hình tới khoảng 48 tỷ tham số.

Mô hình 4 bit	Bộ nhớ cần	Chạy được trên M3 Pro
Mô hình 8B	4,5 GB	Có
Mô hình 14B	7,9 GB	Có
Mô hình 32B	18 GB	Có
Mô hình 70B	39,4 GB	Không
gpt-oss-120b, mixture-of-experts	65 GB	Không
Qwen3.5-397B-A17B, mixture-of-experts	223,3 GB	Không
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	Không

3Chạy nhanh đến đâu

Tốc độ sinh văn bản bị giới hạn bởi băng thông bộ nhớ: mỗi token mới đều phải đọc một lượt các trọng số đang hoạt động của mô hình. Lấy 150 GB/s của M3 Pro chia cho số byte đọc mỗi token sẽ ra mức trần bên dưới. Khi chạy thực tế thường đạt khoảng 45% đến 80% mức đó (benchmark của llama.cpp).

Mô hình 4 bit	Đọc mỗi token	Trần cho một cuộc chat
Mô hình 8B	4,5 GB	33 token/giây
Mô hình 14B	7,9 GB	19 token/giây
Mô hình 32B	18 GB	8 token/giây

5So sánh với các chip khác

6Câu hỏi

M3 Pro có chạy được mô hình 70B không?: Không thoải mái. Mô hình 70B ở 4 bit cần khoảng 40 GB, còn M3 Pro có tối đa 36 GB. Các mô hình tới khoảng 48B tham số chạy tốt.
M3 Pro đạt bao nhiêu token mỗi giây?: Với mô hình 8B ở 4 bit, mức trần khoảng 33 token mỗi giây, và khi chạy thực tế đạt khoảng một nửa đến bốn phần năm mức đó. Mô hình lớn hơn chậm hơn theo tỷ lệ.
M3 Pro có tốt cho AI không?: Khi chạy mô hình cục bộ, bộ nhớ và băng thông là quan trọng nhất. M3 Pro có tới 36 GB với 150 GB/s, đủ cho các mô hình tới khoảng 48 tỷ tham số. Máy còn có thể kiếm tiền bằng cách chạy tác vụ AI cho MLX Network với MLX Node.

Nguồn

Apple: M3, M3 Pro and M3 Maxapple.com
Apple: MacBook Pro (M3 Pro or M3 Max) specssupport.apple.com