1Spesifikasi yang penting untuk AI
| Memori bersatu | 512 GB |
|---|---|
| Lebar jalur memori | 1.2 TB/s |
| Terdapat dalam | Mac Studio (2026) |
| Kerusi khas untuknya | Kerusi Ultra Latest: melombong sehingga 480 MLX sehari |
2Model yang muat
Pada 4 bit setiap pemberat, model memerlukan sedikit lebih daripada setengah gigabait bagi setiap bilion parameter, serta ruang untuk konteks dan macOS. Dengan 512 GB, M5 Ultra memuatkan model sehingga kira-kira 682 bilion parameter dengan selesa.
| Model 4-bit | Memori diperlukan | Muat pada M5 Ultra |
|---|---|---|
| Model 8B | 4.5 GB | Ya |
| Model 14B | 7.9 GB | Ya |
| Model 32B | 18 GB | Ya |
| Model 70B | 39.4 GB | Ya |
| gpt-oss-120b, mixture-of-experts | 65 GB | Ya |
| Qwen3.5-397B-A17B, mixture-of-experts | 223.3 GB | Ya |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | Ya |
3Sepantas mana
Kelajuan menulis teks dihadkan oleh lebar jalur memori: setiap token baharu membaca pemberat aktif model sekali. Membahagikan 1.2 TB/s M5 Ultra dengan bilangan bait yang dibaca setiap token memberikan had atas di bawah. Penggunaan sebenar biasanya mencapai kira-kira 45% hingga 80% daripadanya (penanda aras llama.cpp).
| Model 4-bit | Dibaca setiap token | Had atas satu sembang |
|---|---|---|
| Model 8B | 4.5 GB | 267 token/saat |
| Model 14B | 7.9 GB | 152 token/saat |
| Model 32B | 18 GB | 67 token/saat |
| Model 70B | 39.4 GB | 30 token/saat |
| gpt-oss-120b, mixture-of-experts | 2.7 GB | 444 token/saat |
| Qwen3.5-397B-A17B, mixture-of-experts | 9.6 GB | 125 token/saat |
| DeepSeek-V4.1-Flash, mixture-of-experts | 9 GB | 133 token/saat |
Diukur: pada M5 Ultra (80-core GPU), llama.cpp menjana 179 token sesaat dengan Llama-2-7B (Q4_0) dalam penanda aras awamnya.
Cip generasi M5 menambah pemecut neural pada GPU, jadi ia membaca prompt beberapa kali lebih pantas daripada M4: Apple mengukur token pertama tiba 3.3 hingga 4.1 kali lebih cepat dengan MLX (Apple).
5Bandingkan dengan cip lain
6Soalan
- Bolehkah M5 Ultra menjalankan model 70B?
- Boleh. Model 70B pada 4-bit memerlukan kira-kira 40 GB, dan M5 Ultra mempunyai sehingga 512 GB. Had atasnya kira-kira 30 token sesaat untuk satu sembang.
- Berapa token sesaat yang dicapai M5 Ultra?
- Untuk model 8B pada 4-bit, had atasnya kira-kira 267 token sesaat, dan penggunaan sebenar mencapai lebih kurang separuh hingga empat perlima daripadanya. Model yang lebih besar menjadi perlahan secara berkadar.
- Adakah M5 Ultra bagus untuk AI?
- Untuk menjalankan model secara tempatan, memori dan lebar jalur paling penting. M5 Ultra mempunyai sehingga 512 GB pada 1.2 TB/s, cukup untuk model sehingga kira-kira 682 bilion parameter. Ia juga boleh memperoleh dengan menjalankan kerja AI untuk MLX Network melalui MLX Node.
Sumber
- Apple: M6 and M5 Ultraapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com