1Spesifikasi yang penting untuk AI
| Memori terpadu | 512 GB |
|---|---|
| Bandwidth memori | 1,2 TB/s |
| Ada di | Mac Studio (2026) |
| Kursi khusus untuknya | Kursi Ultra Latest: menambang hingga 480 MLX per hari |
2Model yang muat
Pada 4 bit per bobot, model butuh sedikit lebih dari setengah gigabyte per miliar parameter, ditambah ruang untuk konteks dan macOS. Dengan 512 GB, M5 Ultra dengan lega menampung model hingga sekitar 682 miliar parameter.
| Model 4-bit | Memori yang dibutuhkan | Muat di M5 Ultra |
|---|---|---|
| Model 8B | 4,5 GB | Ya |
| Model 14B | 7,9 GB | Ya |
| Model 32B | 18 GB | Ya |
| Model 70B | 39,4 GB | Ya |
| gpt-oss-120b, mixture-of-experts | 65 GB | Ya |
| Qwen3.5-397B-A17B, mixture-of-experts | 223,3 GB | Ya |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | Ya |
3Seberapa cepat
Kecepatan menulis teks dibatasi oleh bandwidth memori: setiap token baru membaca bobot aktif model satu kali. Membagi 1,2 TB/s milik M5 Ultra dengan jumlah byte yang dibaca per token menghasilkan batas atas di bawah. Penggunaan nyata biasanya mencapai sekitar 45% hingga 80% darinya (benchmark llama.cpp).
| Model 4-bit | Dibaca per token | Batas atas satu chat |
|---|---|---|
| Model 8B | 4,5 GB | 267 token/detik |
| Model 14B | 7,9 GB | 152 token/detik |
| Model 32B | 18 GB | 67 token/detik |
| Model 70B | 39,4 GB | 30 token/detik |
| gpt-oss-120b, mixture-of-experts | 2,7 GB | 444 token/detik |
| Qwen3.5-397B-A17B, mixture-of-experts | 9,6 GB | 125 token/detik |
| DeepSeek-V4.1-Flash, mixture-of-experts | 9 GB | 133 token/detik |
Terukur: pada M5 Ultra (80-core GPU), llama.cpp menghasilkan 179 token per detik dengan Llama-2-7B (Q4_0) dalam benchmark publiknya.
Chip generasi M5 menambahkan akselerator neural ke GPU, sehingga membaca prompt beberapa kali lebih cepat daripada M4: Apple mengukur token pertama muncul 3,3 hingga 4,1 kali lebih cepat dengan MLX (Apple).
5Bandingkan dengan chip lain
6Pertanyaan
- Bisakah M5 Ultra menjalankan model 70B?
- Bisa. Model 70B pada 4-bit butuh sekitar 40 GB, dan M5 Ultra punya hingga 512 GB. Batas atasnya sekitar 30 token per detik untuk satu chat.
- Berapa token per detik yang didapat M5 Ultra?
- Untuk model 8B pada 4-bit, batas atasnya sekitar 267 token per detik, dan penggunaan nyata mencapai kira-kira setengah hingga empat perlimanya. Model yang lebih besar melambat secara proporsional.
- Apakah M5 Ultra bagus untuk AI?
- Untuk menjalankan model secara lokal, memori dan bandwidth paling menentukan. M5 Ultra punya hingga 512 GB pada 1,2 TB/s, cukup untuk model hingga sekitar 682 miliar parameter. Mac ini juga bisa memperoleh token dengan menjalankan pekerjaan AI untuk MLX Network lewat MLX Node.
Sumber
- Apple: M6 and M5 Ultraapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com