1Spesifikasi yang penting untuk AI
| Memori terpadu | 128 GB |
|---|---|
| Bandwidth memori | 546 GB/s, atau 410 GB/s pada konfigurasi yang lebih rendah |
| Ada di | 14- and 16-inch MacBook Pro (2024), Mac Studio (2025) |
| Kursi khusus untuknya | Kursi Pro: menambang hingga 80 MLX per hari |
2Model yang muat
Pada 4 bit per bobot, model butuh sedikit lebih dari setengah gigabyte per miliar parameter, ditambah ruang untuk konteks dan macOS. Dengan 128 GB, M4 Max dengan lega menampung model hingga sekitar 170 miliar parameter.
| Model 4-bit | Memori yang dibutuhkan | Muat di M4 Max |
|---|---|---|
| Model 8B | 4,5 GB | Ya |
| Model 14B | 7,9 GB | Ya |
| Model 32B | 18 GB | Ya |
| Model 70B | 39,4 GB | Ya |
| gpt-oss-120b, mixture-of-experts | 65 GB | Ya |
| Qwen3.5-397B-A17B, mixture-of-experts | 223,3 GB | Tidak |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | Tidak |
3Seberapa cepat
Kecepatan menulis teks dibatasi oleh bandwidth memori: setiap token baru membaca bobot aktif model satu kali. Membagi 546 GB/s milik M4 Max dengan jumlah byte yang dibaca per token menghasilkan batas atas di bawah. Penggunaan nyata biasanya mencapai sekitar 45% hingga 80% darinya (benchmark llama.cpp).
| Model 4-bit | Dibaca per token | Batas atas satu chat |
|---|---|---|
| Model 8B | 4,5 GB | 121 token/detik |
| Model 14B | 7,9 GB | 69 token/detik |
| Model 32B | 18 GB | 30 token/detik |
| Model 70B | 39,4 GB | 14 token/detik |
| gpt-oss-120b, mixture-of-experts | 2,7 GB | 202 token/detik |
Terukur: pada M4 Max (40-core GPU), llama.cpp menghasilkan 83 token per detik dengan Llama-2-7B (Q4_0) dalam benchmark publiknya.
5Bandingkan dengan chip lain
6Pertanyaan
- Bisakah M4 Max menjalankan model 70B?
- Bisa. Model 70B pada 4-bit butuh sekitar 40 GB, dan M4 Max punya hingga 128 GB. Batas atasnya sekitar 14 token per detik untuk satu chat.
- Berapa token per detik yang didapat M4 Max?
- Untuk model 8B pada 4-bit, batas atasnya sekitar 121 token per detik, dan penggunaan nyata mencapai kira-kira setengah hingga empat perlimanya. Model yang lebih besar melambat secara proporsional.
- Apakah M4 Max bagus untuk AI?
- Untuk menjalankan model secara lokal, memori dan bandwidth paling menentukan. M4 Max punya hingga 128 GB pada 546 GB/s, cukup untuk model hingga sekitar 170 miliar parameter. Mac ini juga bisa memperoleh token dengan menjalankan pekerjaan AI untuk MLX Network lewat MLX Node.
Sumber
- Apple: M4 Pro and M4 Maxapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com