1Ang specs na mahalaga para sa AI
| Unified memory | 512 GB |
|---|---|
| Memory bandwidth | 1.2 TB/s |
| Makikita sa | Mac Studio (2026) |
| Dedicated seat para rito | Ultra Latest seat: nagma-mine nang hanggang 480 MLX bawat araw |
2Aling mga model ang kasya
Sa 4 bit bawat weight, kailangan ng model ng kaunti pa sa kalahating gigabyte bawat bilyong parameter, dagdag ang espasyo para sa context nito at sa macOS. Sa 512 GB, maluwag na kasya sa M5 Ultra ang mga model na hanggang mga 682 bilyong parameter.
| Model sa 4-bit | Memory na kailangan | Kasya sa M5 Ultra |
|---|---|---|
| 8B na model | 4.5 GB | Oo |
| 14B na model | 7.9 GB | Oo |
| 32B na model | 18 GB | Oo |
| 70B na model | 39.4 GB | Oo |
| gpt-oss-120b, mixture-of-experts | 65 GB | Oo |
| Qwen3.5-397B-A17B, mixture-of-experts | 223.3 GB | Oo |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | Oo |
3Gaano ito kabilis
Limitado ng memory bandwidth ang pagsulat ng text: binabasa ng bawat bagong token nang isang beses ang mga aktibong weight ng model. Kapag hinati ang 1.2 TB/s ng M5 Ultra sa bytes na binabasa bawat token, makukuha ang ceiling sa ibaba. Kadalasang umaabot ang totoong takbo sa mga 45% hanggang 80% nito (llama.cpp benchmarks).
| Model sa 4-bit | Binabasa bawat token | Ceiling para sa isang chat |
|---|---|---|
| 8B na model | 4.5 GB | 267 token/s |
| 14B na model | 7.9 GB | 152 token/s |
| 32B na model | 18 GB | 67 token/s |
| 70B na model | 39.4 GB | 30 token/s |
| gpt-oss-120b, mixture-of-experts | 2.7 GB | 444 token/s |
| Qwen3.5-397B-A17B, mixture-of-experts | 9.6 GB | 125 token/s |
| DeepSeek-V4.1-Flash, mixture-of-experts | 9 GB | 133 token/s |
Sinukat: sa M5 Ultra (80-core GPU), gumagawa ang llama.cpp ng 179 token bawat segundo gamit ang Llama-2-7B (Q4_0) sa mga pampublikong benchmark nito.
May mga neural accelerator sa GPU ang mga chip ng M5 generation, kaya ilang beses na mas mabilis nilang nababasa ang mga prompt kaysa sa M4: sinukat ng Apple na 3.3 hanggang 4.1 beses na mas maagang dumarating ang unang token gamit ang MLX (Apple).
5Ikumpara sa ibang chip
6Mga tanong
- Kaya ba ng M5 Ultra ang 70B na model?
- Oo. Kailangan ng 70B na model sa 4-bit ng mga 40 GB, at may hanggang 512 GB ang M5 Ultra. Asahan ang ceiling na mga 30 token bawat segundo para sa isang chat.
- Ilang token bawat segundo ang kaya ng M5 Ultra?
- Para sa 8B na model sa 4-bit, mga 267 token bawat segundo ang ceiling, at umaabot ang totoong takbo sa mga kalahati hanggang apat na ikalima nito. Proporsyonal na mas mabagal ang mas malalaking model.
- Maganda ba ang M5 Ultra para sa AI?
- Sa pagpapatakbo ng model nang lokal, memory at bandwidth ang pinakamahalaga. May hanggang 512 GB ang M5 Ultra sa 1.2 TB/s, sapat para sa mga model na hanggang mga 682 bilyong parameter. Puwede rin itong kumita sa pagpapatakbo ng AI na trabaho para sa MLX Network gamit ang MLX Node.
Mga source
- Apple: M6 and M5 Ultraapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com