1Le specifiche che contano per l'AI
| Memoria unificata | 512 GB |
|---|---|
| Larghezza di banda della memoria | 1,2 TB/s |
| Presente in | Mac Studio (2026) |
| Posto dedicato adatto | Posto Ultra Latest: mina fino a 480 MLX al giorno |
2Quali modelli ci stanno
A 4 bit per peso un modello richiede poco più di mezzo gigabyte per miliardo di parametri, più spazio per il contesto e per macOS. Con 512 GB, il chip M5 Ultra ospita comodamente modelli fino a circa 682 miliardi di parametri.
| Modello a 4 bit | Memoria richiesta | Ci sta sul chip M5 Ultra |
|---|---|---|
| Modello da 8B | 4,5 GB | Sì |
| Modello da 14B | 7,9 GB | Sì |
| Modello da 32B | 18 GB | Sì |
| Modello da 70B | 39,4 GB | Sì |
| gpt-oss-120b, mixture-of-experts | 65 GB | Sì |
| Qwen3.5-397B-A17B, mixture-of-experts | 223,3 GB | Sì |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | Sì |
3Quanto è veloce
La scrittura del testo è limitata dalla larghezza di banda della memoria: ogni nuovo token legge una volta i pesi attivi del modello. Dividendo i 1,2 TB/s del chip M5 Ultra per i byte letti per token si ottiene il tetto qui sotto. Nelle prove reali si arriva di solito dal 45% all'80% circa di questo tetto (benchmark di llama.cpp).
| Modello a 4 bit | Letti per token | Tetto per una chat |
|---|---|---|
| Modello da 8B | 4,5 GB | 267 token/s |
| Modello da 14B | 7,9 GB | 152 token/s |
| Modello da 32B | 18 GB | 67 token/s |
| Modello da 70B | 39,4 GB | 30 token/s |
| gpt-oss-120b, mixture-of-experts | 2,7 GB | 444 token/s |
| Qwen3.5-397B-A17B, mixture-of-experts | 9,6 GB | 125 token/s |
| DeepSeek-V4.1-Flash, mixture-of-experts | 9 GB | 133 token/s |
Misurato: su M5 Ultra (80-core GPU), llama.cpp genera 179 token al secondo con Llama-2-7B (Q4_0) nei suoi benchmark pubblici.
I chip della generazione M5 aggiungono acceleratori neurali alla GPU, quindi leggono i prompt diverse volte più in fretta degli M4: Apple ha misurato il primo token in arrivo da 3,3 a 4,1 volte prima con MLX (Apple).
5Confronta con altri chip
6Domande
- Il chip M5 Ultra può far girare un modello da 70B?
- Sì. Un modello da 70B a 4 bit richiede circa 40 GB, e il chip M5 Ultra ha fino a 512 GB. Aspettati un tetto di circa 30 token al secondo per una chat.
- Quanti token al secondo fa il chip M5 Ultra?
- Con un modello da 8B a 4 bit il tetto è di circa 267 token al secondo, e nelle prove reali si arriva più o meno tra la metà e i quattro quinti. I modelli più grandi sono proporzionalmente più lenti.
- Il chip M5 Ultra è adatto all'AI?
- Per eseguire modelli in locale contano soprattutto memoria e larghezza di banda. Il chip M5 Ultra ha fino a 512 GB a 1,2 TB/s, abbastanza per modelli fino a circa 682 miliardi di parametri. Può anche guadagnare eseguendo lavoro di AI per MLX Network con MLX Node.
Fonti
- Apple: M6 and M5 Ultraapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com