1Le specifiche che contano per l'AI
| Memoria unificata | 128 GB |
|---|---|
| Larghezza di banda della memoria | 546 GB/s, o 410 GB/s nella configurazione inferiore |
| Presente in | 14- and 16-inch MacBook Pro (2024), Mac Studio (2025) |
| Posto dedicato adatto | Posto Pro: mina fino a 80 MLX al giorno |
2Quali modelli ci stanno
A 4 bit per peso un modello richiede poco più di mezzo gigabyte per miliardo di parametri, più spazio per il contesto e per macOS. Con 128 GB, il chip M4 Max ospita comodamente modelli fino a circa 170 miliardi di parametri.
| Modello a 4 bit | Memoria richiesta | Ci sta sul chip M4 Max |
|---|---|---|
| Modello da 8B | 4,5 GB | Sì |
| Modello da 14B | 7,9 GB | Sì |
| Modello da 32B | 18 GB | Sì |
| Modello da 70B | 39,4 GB | Sì |
| gpt-oss-120b, mixture-of-experts | 65 GB | Sì |
| Qwen3.5-397B-A17B, mixture-of-experts | 223,3 GB | No |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | No |
3Quanto è veloce
La scrittura del testo è limitata dalla larghezza di banda della memoria: ogni nuovo token legge una volta i pesi attivi del modello. Dividendo i 546 GB/s del chip M4 Max per i byte letti per token si ottiene il tetto qui sotto. Nelle prove reali si arriva di solito dal 45% all'80% circa di questo tetto (benchmark di llama.cpp).
| Modello a 4 bit | Letti per token | Tetto per una chat |
|---|---|---|
| Modello da 8B | 4,5 GB | 121 token/s |
| Modello da 14B | 7,9 GB | 69 token/s |
| Modello da 32B | 18 GB | 30 token/s |
| Modello da 70B | 39,4 GB | 14 token/s |
| gpt-oss-120b, mixture-of-experts | 2,7 GB | 202 token/s |
Misurato: su M4 Max (40-core GPU), llama.cpp genera 83 token al secondo con Llama-2-7B (Q4_0) nei suoi benchmark pubblici.
5Confronta con altri chip
6Domande
- Il chip M4 Max può far girare un modello da 70B?
- Sì. Un modello da 70B a 4 bit richiede circa 40 GB, e il chip M4 Max ha fino a 128 GB. Aspettati un tetto di circa 14 token al secondo per una chat.
- Quanti token al secondo fa il chip M4 Max?
- Con un modello da 8B a 4 bit il tetto è di circa 121 token al secondo, e nelle prove reali si arriva più o meno tra la metà e i quattro quinti. I modelli più grandi sono proporzionalmente più lenti.
- Il chip M4 Max è adatto all'AI?
- Per eseguire modelli in locale contano soprattutto memoria e larghezza di banda. Il chip M4 Max ha fino a 128 GB a 546 GB/s, abbastanza per modelli fino a circa 170 miliardi di parametri. Può anche guadagnare eseguendo lavoro di AI per MLX Network con MLX Node.
Fonti
- Apple: M4 Pro and M4 Maxapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com