1Spesifikasi yang penting untuk AI
| Memori bersatu | 128 GB |
|---|---|
| Lebar jalur memori | 546 GB/s, atau 410 GB/s pada konfigurasi yang lebih rendah |
| Terdapat dalam | 14- and 16-inch MacBook Pro (2024), Mac Studio (2025) |
| Kerusi khas untuknya | Kerusi Pro: melombong sehingga 80 MLX sehari |
2Model yang muat
Pada 4 bit setiap pemberat, model memerlukan sedikit lebih daripada setengah gigabait bagi setiap bilion parameter, serta ruang untuk konteks dan macOS. Dengan 128 GB, M4 Max memuatkan model sehingga kira-kira 170 bilion parameter dengan selesa.
| Model 4-bit | Memori diperlukan | Muat pada M4 Max |
|---|---|---|
| Model 8B | 4.5 GB | Ya |
| Model 14B | 7.9 GB | Ya |
| Model 32B | 18 GB | Ya |
| Model 70B | 39.4 GB | Ya |
| gpt-oss-120b, mixture-of-experts | 65 GB | Ya |
| Qwen3.5-397B-A17B, mixture-of-experts | 223.3 GB | Tidak |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | Tidak |
3Sepantas mana
Kelajuan menulis teks dihadkan oleh lebar jalur memori: setiap token baharu membaca pemberat aktif model sekali. Membahagikan 546 GB/s M4 Max dengan bilangan bait yang dibaca setiap token memberikan had atas di bawah. Penggunaan sebenar biasanya mencapai kira-kira 45% hingga 80% daripadanya (penanda aras llama.cpp).
| Model 4-bit | Dibaca setiap token | Had atas satu sembang |
|---|---|---|
| Model 8B | 4.5 GB | 121 token/saat |
| Model 14B | 7.9 GB | 69 token/saat |
| Model 32B | 18 GB | 30 token/saat |
| Model 70B | 39.4 GB | 14 token/saat |
| gpt-oss-120b, mixture-of-experts | 2.7 GB | 202 token/saat |
Diukur: pada M4 Max (40-core GPU), llama.cpp menjana 83 token sesaat dengan Llama-2-7B (Q4_0) dalam penanda aras awamnya.
5Bandingkan dengan cip lain
6Soalan
- Bolehkah M4 Max menjalankan model 70B?
- Boleh. Model 70B pada 4-bit memerlukan kira-kira 40 GB, dan M4 Max mempunyai sehingga 128 GB. Had atasnya kira-kira 14 token sesaat untuk satu sembang.
- Berapa token sesaat yang dicapai M4 Max?
- Untuk model 8B pada 4-bit, had atasnya kira-kira 121 token sesaat, dan penggunaan sebenar mencapai lebih kurang separuh hingga empat perlima daripadanya. Model yang lebih besar menjadi perlahan secara berkadar.
- Adakah M4 Max bagus untuk AI?
- Untuk menjalankan model secara tempatan, memori dan lebar jalur paling penting. M4 Max mempunyai sehingga 128 GB pada 546 GB/s, cukup untuk model sehingga kira-kira 170 bilion parameter. Ia juga boleh memperoleh dengan menjalankan kerja AI untuk MLX Network melalui MLX Node.
Sumber
- Apple: M4 Pro and M4 Maxapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com