1Le specifiche che contano per l'AI
| Memoria unificata | 512 GB |
|---|---|
| Larghezza di banda della memoria | 819 GB/s |
| Presente in | Mac Studio (2025) |
| Posto dedicato adatto | Posto Ultra: mina fino a 320 MLX al giorno |
2Quali modelli ci stanno
A 4 bit per peso un modello richiede poco più di mezzo gigabyte per miliardo di parametri, più spazio per il contesto e per macOS. Con 512 GB, il chip M3 Ultra ospita comodamente modelli fino a circa 682 miliardi di parametri.
| Modello a 4 bit | Memoria richiesta | Ci sta sul chip M3 Ultra |
|---|---|---|
| Modello da 8B | 4,5 GB | Sì |
| Modello da 14B | 7,9 GB | Sì |
| Modello da 32B | 18 GB | Sì |
| Modello da 70B | 39,4 GB | Sì |
| gpt-oss-120b, mixture-of-experts | 65 GB | Sì |
| Qwen3.5-397B-A17B, mixture-of-experts | 223,3 GB | Sì |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | Sì |
3Quanto è veloce
La scrittura del testo è limitata dalla larghezza di banda della memoria: ogni nuovo token legge una volta i pesi attivi del modello. Dividendo i 819 GB/s del chip M3 Ultra per i byte letti per token si ottiene il tetto qui sotto. Nelle prove reali si arriva di solito dal 45% all'80% circa di questo tetto (benchmark di llama.cpp).
| Modello a 4 bit | Letti per token | Tetto per una chat |
|---|---|---|
| Modello da 8B | 4,5 GB | 182 token/s |
| Modello da 14B | 7,9 GB | 104 token/s |
| Modello da 32B | 18 GB | 46 token/s |
| Modello da 70B | 39,4 GB | 21 token/s |
| gpt-oss-120b, mixture-of-experts | 2,7 GB | 303 token/s |
| Qwen3.5-397B-A17B, mixture-of-experts | 9,6 GB | 85 token/s |
| DeepSeek-V4.1-Flash, mixture-of-experts | 9 GB | 91 token/s |
Misurato: su M3 Ultra (80-core GPU), llama.cpp genera 92 token al secondo con Llama-2-7B (Q4_0) nei suoi benchmark pubblici.
5Confronta con altri chip
6Domande
- Il chip M3 Ultra può far girare un modello da 70B?
- Sì. Un modello da 70B a 4 bit richiede circa 40 GB, e il chip M3 Ultra ha fino a 512 GB. Aspettati un tetto di circa 21 token al secondo per una chat.
- Quanti token al secondo fa il chip M3 Ultra?
- Con un modello da 8B a 4 bit il tetto è di circa 182 token al secondo, e nelle prove reali si arriva più o meno tra la metà e i quattro quinti. I modelli più grandi sono proporzionalmente più lenti.
- Il chip M3 Ultra è adatto all'AI?
- Per eseguire modelli in locale contano soprattutto memoria e larghezza di banda. Il chip M3 Ultra ha fino a 512 GB a 819 GB/s, abbastanza per modelli fino a circa 682 miliardi di parametri. Può anche guadagnare eseguendo lavoro di AI per MLX Network con MLX Node.
Fonti
- Apple: Mac Studio (2025) specssupport.apple.com
- llama.cpp: Apple Silicon benchmarksgithub.com