1Spesifikasi yang penting untuk AI
| Memori terpadu | 64 GB |
|---|---|
| Bandwidth memori | 273 GB/s |
| Ada di | Mac mini (2024), 14- and 16-inch MacBook Pro (2024) |
| Kursi khusus untuknya | Kursi Pro: menambang hingga 80 MLX per hari |
2Model yang muat
Pada 4 bit per bobot, model butuh sedikit lebih dari setengah gigabyte per miliar parameter, ditambah ruang untuk konteks dan macOS. Dengan 64 GB, M4 Pro dengan lega menampung model hingga sekitar 85 miliar parameter.
| Model 4-bit | Memori yang dibutuhkan | Muat di M4 Pro |
|---|---|---|
| Model 8B | 4,5 GB | Ya |
| Model 14B | 7,9 GB | Ya |
| Model 32B | 18 GB | Ya |
| Model 70B | 39,4 GB | Ya |
| gpt-oss-120b, mixture-of-experts | 65 GB | Tidak |
| Qwen3.5-397B-A17B, mixture-of-experts | 223,3 GB | Tidak |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | Tidak |
3Seberapa cepat
Kecepatan menulis teks dibatasi oleh bandwidth memori: setiap token baru membaca bobot aktif model satu kali. Membagi 273 GB/s milik M4 Pro dengan jumlah byte yang dibaca per token menghasilkan batas atas di bawah. Penggunaan nyata biasanya mencapai sekitar 45% hingga 80% darinya (benchmark llama.cpp).
| Model 4-bit | Dibaca per token | Batas atas satu chat |
|---|---|---|
| Model 8B | 4,5 GB | 61 token/detik |
| Model 14B | 7,9 GB | 35 token/detik |
| Model 32B | 18 GB | 15 token/detik |
| Model 70B | 39,4 GB | 7 token/detik |
5Bandingkan dengan chip lain
6Pertanyaan
- Bisakah M4 Pro menjalankan model 70B?
- Bisa. Model 70B pada 4-bit butuh sekitar 40 GB, dan M4 Pro punya hingga 64 GB. Batas atasnya sekitar 7 token per detik untuk satu chat.
- Berapa token per detik yang didapat M4 Pro?
- Untuk model 8B pada 4-bit, batas atasnya sekitar 61 token per detik, dan penggunaan nyata mencapai kira-kira setengah hingga empat perlimanya. Model yang lebih besar melambat secara proporsional.
- Apakah M4 Pro bagus untuk AI?
- Untuk menjalankan model secara lokal, memori dan bandwidth paling menentukan. M4 Pro punya hingga 64 GB pada 273 GB/s, cukup untuk model hingga sekitar 85 miliar parameter. Mac ini juga bisa memperoleh token dengan menjalankan pekerjaan AI untuk MLX Network lewat MLX Node.
Sumber
- Apple: M4 Pro and M4 Maxapple.com
- Apple: Mac mini (2024) specssupport.apple.com