1Spesifikasi yang penting untuk AI
| Memori bersatu | 64 GB |
|---|---|
| Lebar jalur memori | 273 GB/s |
| Terdapat dalam | Mac mini (2024), 14- and 16-inch MacBook Pro (2024) |
| Kerusi khas untuknya | Kerusi Pro: melombong sehingga 80 MLX sehari |
2Model yang muat
Pada 4 bit setiap pemberat, model memerlukan sedikit lebih daripada setengah gigabait bagi setiap bilion parameter, serta ruang untuk konteks dan macOS. Dengan 64 GB, M4 Pro memuatkan model sehingga kira-kira 85 bilion parameter dengan selesa.
| Model 4-bit | Memori diperlukan | Muat pada M4 Pro |
|---|---|---|
| Model 8B | 4.5 GB | Ya |
| Model 14B | 7.9 GB | Ya |
| Model 32B | 18 GB | Ya |
| Model 70B | 39.4 GB | Ya |
| gpt-oss-120b, mixture-of-experts | 65 GB | Tidak |
| Qwen3.5-397B-A17B, mixture-of-experts | 223.3 GB | Tidak |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | Tidak |
3Sepantas mana
Kelajuan menulis teks dihadkan oleh lebar jalur memori: setiap token baharu membaca pemberat aktif model sekali. Membahagikan 273 GB/s M4 Pro dengan bilangan bait yang dibaca setiap token memberikan had atas di bawah. Penggunaan sebenar biasanya mencapai kira-kira 45% hingga 80% daripadanya (penanda aras llama.cpp).
| Model 4-bit | Dibaca setiap token | Had atas satu sembang |
|---|---|---|
| Model 8B | 4.5 GB | 61 token/saat |
| Model 14B | 7.9 GB | 35 token/saat |
| Model 32B | 18 GB | 15 token/saat |
| Model 70B | 39.4 GB | 7 token/saat |
5Bandingkan dengan cip lain
6Soalan
- Bolehkah M4 Pro menjalankan model 70B?
- Boleh. Model 70B pada 4-bit memerlukan kira-kira 40 GB, dan M4 Pro mempunyai sehingga 64 GB. Had atasnya kira-kira 7 token sesaat untuk satu sembang.
- Berapa token sesaat yang dicapai M4 Pro?
- Untuk model 8B pada 4-bit, had atasnya kira-kira 61 token sesaat, dan penggunaan sebenar mencapai lebih kurang separuh hingga empat perlima daripadanya. Model yang lebih besar menjadi perlahan secara berkadar.
- Adakah M4 Pro bagus untuk AI?
- Untuk menjalankan model secara tempatan, memori dan lebar jalur paling penting. M4 Pro mempunyai sehingga 64 GB pada 273 GB/s, cukup untuk model sehingga kira-kira 85 bilion parameter. Ia juga boleh memperoleh dengan menjalankan kerja AI untuk MLX Network melalui MLX Node.
Sumber
- Apple: M4 Pro and M4 Maxapple.com
- Apple: Mac mini (2024) specssupport.apple.com