Mọi chip M cho AI cục bộ.
Bộ nhớ quyết định mô hình nào chứa được; băng thông quyết định nó viết nhanh đến đâu. Đây là mọi chip Apple Silicon trên cả hai mặt, tính từ số liệu của chính Apple.
| Chip | Bộ nhớ hợp nhất | Băng thông bộ nhớ | Mô hình lớn nhất ở 4-bit | Mô hình 8B, mức trần | Có trên |
|---|---|---|---|---|---|
| M1 | 16 GB | 68 GB/s | khoảng 21B | 15 token/giây | MacBook Air (2020), 13-inch MacBook Pro (2020), Mac mini (2020), iMac (2021) |
| M1 Pro | 32 GB | 200 GB/s | khoảng 42B | 44 token/giây | 14- and 16-inch MacBook Pro (2021) |
| M1 Max | 64 GB | 400 GB/s | khoảng 85B | 89 token/giây | 14- and 16-inch MacBook Pro (2021), Mac Studio (2022) |
| M1 Ultra | 128 GB | 800 GB/s | khoảng 170B | 178 token/giây | Mac Studio (2022) |
| M2 | 24 GB | 100 GB/s | khoảng 32B | 22 token/giây | MacBook Air (2022, 2023), 13-inch MacBook Pro (2022), Mac mini (2023) |
| M2 Pro | 32 GB | 200 GB/s | khoảng 42B | 44 token/giây | 14- and 16-inch MacBook Pro (2023), Mac mini (2023) |
| M2 Max | 96 GB | 400 GB/s | khoảng 128B | 89 token/giây | 14- and 16-inch MacBook Pro (2023), Mac Studio (2023) |
| M2 Ultra | 192 GB | 800 GB/s | khoảng 256B | 178 token/giây | Mac Studio (2023), Mac Pro (2023) |
| M3 | 24 GB | 100 GB/s | khoảng 32B | 22 token/giây | MacBook Air (2024), 14-inch MacBook Pro (2023), iMac (2023) |
| M3 Pro | 36 GB | 150 GB/s | khoảng 48B | 33 token/giây | 14- and 16-inch MacBook Pro (2023) |
| M3 Max | 128 GB | 400 GB/s | khoảng 170B | 89 token/giây | 14- and 16-inch MacBook Pro (2023) |
| M3 Ultra | 512 GB | 819 GB/s | khoảng 682B | 182 token/giây | Mac Studio (2025) |
| M4 | 32 GB | 120 GB/s | khoảng 42B | 27 token/giây | MacBook Air (2025), 14-inch MacBook Pro (2024), Mac mini (2024), iMac (2024) |
| M4 Pro | 64 GB | 273 GB/s | khoảng 85B | 61 token/giây | Mac mini (2024), 14- and 16-inch MacBook Pro (2024) |
| M4 Max | 128 GB | 546 GB/s | khoảng 170B | 121 token/giây | 14- and 16-inch MacBook Pro (2024), Mac Studio (2025) |
| M5 | 32 GB | 153 GB/s | khoảng 42B | 34 token/giây | 14-inch MacBook Pro (2025), MacBook Air (2026) |
| M5 Pro | 64 GB | 307 GB/s | khoảng 85B | 68 token/giây | 14- and 16-inch MacBook Pro (2026), Mac mini (2026) |
| M5 Max | 128 GB | 614 GB/s | khoảng 170B | 136 token/giây | 14- and 16-inch MacBook Pro (2026), Mac Studio (2026) |
| M5 Ultra | 512 GB | 1,2 TB/s | khoảng 682B | 267 token/giây | Mac Studio (2026) |
| M6 | 32 GB | 170 GB/s | khoảng 42B | 38 token/giây | Mac mini (2026) |
Mức trần là băng thông bộ nhớ chia cho số byte đọc mỗi token; chạy thực tế thường đạt khoảng 45% đến 80%. Mô hình lớn nhất giả định dùng được ba phần tư bộ nhớ. Nguồn có trên trang của từng chip.
Nguồn
- Apple: M1apple.com
- llama.cpp: Apple Silicon benchmarksgithub.com
- Apple: M1 Pro and M1 Maxapple.com
- Apple: M1 Ultraapple.com
- Apple: M2apple.com
- Apple: M2 Pro and M2 Maxapple.com
- Apple: M2 Ultraapple.com
- Apple: M3, M3 Pro and M3 Maxapple.com
- Apple: MacBook Pro (M3 Pro or M3 Max) specssupport.apple.com
- Apple: Mac Studio (2025) specssupport.apple.com
- Apple: Mac mini (2024) specssupport.apple.com
- Apple: M4 Pro and M4 Maxapple.com
- Apple: M5apple.com
- Apple: MacBook Air with M5apple.com
- Apple: M5 Pro and M5 Maxapple.com
- Apple: Mac mini (2026) specssupport.apple.com
- Apple: Mac Studio with M5 Max and M5 Ultraapple.com
- Apple: M6 and M5 Ultraapple.com