Cạnh nhau
Tốc độ với các mô hình phổ biến
Token mỗi giây cho một cuộc trò chuyện, mỗi chip ở dung lượng bộ nhớ lớn nhất (32 GB và 32 GB), với phiên bản tốt nhất của mô hình vừa với máy.
| Mô hình | M5 | M6 |
|---|---|---|
| Llama 3.1 8B Instruct8B | 11–19 6-bit | 12–21 6-bit |
| gpt-oss-20b21B · 3,6B hoạt động | 36–64 4,25-bit gốc | 40–72 4,25-bit gốc |
| Qwen3.6 35B A3B35B · 3B hoạt động | 41–72 4-bit | 45–80 4-bit |
| Qwen3.8 27B27B | 3–6 6-bit | 3–6 6-bit |
| Llama 3.3 70B Instruct70B | 3–6 2-bit chất lượng thấp hơn | 3–6 2-bit chất lượng thấp hơn |
| gpt-oss-120b117B · 5,1B hoạt động | quá lớn | quá lớn |
| Qwen3.5 122B A10B122B · 10B hoạt động | quá lớn | quá lớn |
| DeepSeek V4 Flash 0731284B · 13B hoạt động | quá lớn | quá lớn |
Câu hỏi
- M6 có nhanh hơn M5 cho LLM không?
- M6 đọc bộ nhớ nhanh hơn M5 khoảng 11% (170 so với 153 GB/s), nên viết nhanh hơn khoảng 11% với mọi mô hình vừa cả hai. Việc đọc một prompt dài lại phụ thuộc vào sức tính toán của GPU, điều mà phép so sánh này không đề cập.
- M5 hay M6 chạy được mô hình lớn hơn?
- Không chip nào hơn: cả hai đều tới 32 GB. Ở dung lượng đó, M5 chạy tốt 28 và M6 chạy tốt 29 trên 73 mô hình mở; chip nhanh hơn đưa được nhiều mô hình hơn lên mức 10 token mỗi giây.
Thêm so sánh
M5 cho AI cục bộ · M6 cho AI cục bộ · So sánh mọi mô hình · Mac tốt nhất cho LLM cục bộ
Cách tính
Bộ nhớ: số tham số của mô hình ở 8, 6, 4, 3 hoặc 2 bit mỗi trọng số cộng với hệ số tỷ lệ theo nhóm của MLX (nửa bit mỗi trọng số), hoặc theo định dạng gốc, rồi thêm chỗ cho ngữ cảnh. Mặc định macOS cho GPU dùng khoảng 75% bộ nhớ hợp nhất. Tốc độ: băng thông bộ nhớ chia cho số byte đọc mỗi token là mức trần cho một cuộc trò chuyện; trong benchmark Apple Silicon công khai của llama.cpp, thực tế đạt khoảng 45% đến 80% mức đó, và đó là khoảng được hiển thị. Đây là ước tính, không phải số đo: hãy đo chính Mac của bạn trên MLX Bench. Số liệu mô hình lấy từ thẻ mô hình chính thức, số liệu chip từ Thông số kỹ thuật của Apple. Kiểm tra ngày 2026-10-19. Cùng dữ liệu với mlx.app/compare.