Il chip M5 Max può far girare un modello da 70B?

Sì. Un modello da 70B a 4 bit richiede circa 40 GB, e il chip M5 Max ha fino a 128 GB. Aspettati un tetto di circa 16 token al secondo per una chat.

Quanti token al secondo fa il chip M5 Max?

Con un modello da 8B a 4 bit il tetto è di circa 136 token al secondo, e nelle prove reali si arriva più o meno tra la metà e i quattro quinti. I modelli più grandi sono proporzionalmente più lenti.

Il chip M5 Max è adatto all'AI?

Per eseguire modelli in locale contano soprattutto memoria e larghezza di banda. Il chip M5 Max ha fino a 128 GB a 614 GB/s, abbastanza per modelli fino a circa 170 miliardi di parametri. Può anche guadagnare eseguendo lavoro di AI per MLX Network con MLX Node.

M5 Max per LLM in locale: memoria, velocità e modelli

1Le specifiche che contano per l'AI

Memoria unificata	128 GB
Larghezza di banda della memoria	614 GB/s, o 460 GB/s nella configurazione inferiore
Presente in	14- and 16-inch MacBook Pro (2026), Mac Studio (2026)
Posto dedicato adatto	Posto Pro Latest: mina fino a 120 MLX al giorno

2Quali modelli ci stanno

A 4 bit per peso un modello richiede poco più di mezzo gigabyte per miliardo di parametri, più spazio per il contesto e per macOS. Con 128 GB, il chip M5 Max ospita comodamente modelli fino a circa 170 miliardi di parametri.

Modello a 4 bit	Memoria richiesta	Ci sta sul chip M5 Max
Modello da 8B	4,5 GB	Sì
Modello da 14B	7,9 GB	Sì
Modello da 32B	18 GB	Sì
Modello da 70B	39,4 GB	Sì
gpt-oss-120b, mixture-of-experts	65 GB	Sì
Qwen3.5-397B-A17B, mixture-of-experts	223,3 GB	No
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	No

3Quanto è veloce

La scrittura del testo è limitata dalla larghezza di banda della memoria: ogni nuovo token legge una volta i pesi attivi del modello. Dividendo i 614 GB/s del chip M5 Max per i byte letti per token si ottiene il tetto qui sotto. Nelle prove reali si arriva di solito dal 45% all'80% circa di questo tetto (benchmark di llama.cpp).

Modello a 4 bit	Letti per token	Tetto per una chat
Modello da 8B	4,5 GB	136 token/s
Modello da 14B	7,9 GB	78 token/s
Modello da 32B	18 GB	34 token/s
Modello da 70B	39,4 GB	16 token/s
gpt-oss-120b, mixture-of-experts	2,7 GB	227 token/s

I chip della generazione M5 aggiungono acceleratori neurali alla GPU, quindi leggono i prompt diverse volte più in fretta degli M4: Apple ha misurato il primo token in arrivo da 3,3 a 4,1 volte prima con MLX (Apple).

5Confronta con altri chip

6Domande

Il chip M5 Max può far girare un modello da 70B?: Sì. Un modello da 70B a 4 bit richiede circa 40 GB, e il chip M5 Max ha fino a 128 GB. Aspettati un tetto di circa 16 token al secondo per una chat.
Quanti token al secondo fa il chip M5 Max?: Con un modello da 8B a 4 bit il tetto è di circa 136 token al secondo, e nelle prove reali si arriva più o meno tra la metà e i quattro quinti. I modelli più grandi sono proporzionalmente più lenti.
Il chip M5 Max è adatto all'AI?: Per eseguire modelli in locale contano soprattutto memoria e larghezza di banda. Il chip M5 Max ha fino a 128 GB a 614 GB/s, abbastanza per modelli fino a circa 170 miliardi di parametri. Può anche guadagnare eseguendo lavoro di AI per MLX Network con MLX Node.

Fonti

Apple: M5 Pro and M5 Maxapple.com
Apple: Mac Studio with M5 Max and M5 Ultraapple.com