Il chip M1 può far girare un modello da 70B?

Non comodamente. Un modello da 70B a 4 bit richiede circa 40 GB, e il chip M1 ha al massimo 16 GB. I modelli fino a circa 21 miliardi di parametri ci stanno bene.

Quanti token al secondo fa il chip M1?

Con un modello da 8B a 4 bit il tetto è di circa 15 token al secondo, e nelle prove reali si arriva più o meno tra la metà e i quattro quinti. I modelli più grandi sono proporzionalmente più lenti.

Il chip M1 è adatto all'AI?

Per eseguire modelli in locale contano soprattutto memoria e larghezza di banda. Il chip M1 ha fino a 16 GB a 68 GB/s, abbastanza per modelli fino a circa 21 miliardi di parametri. Può anche guadagnare eseguendo lavoro di AI per MLX Network con MLX Node.

M1 per LLM in locale: memoria, velocità e modelli

1Le specifiche che contano per l'AI

Memoria unificata	16 GB
Larghezza di banda della memoria	68 GB/s
Presente in	MacBook Air (2020), 13-inch MacBook Pro (2020), Mac mini (2020), iMac (2021)
Posto dedicato adatto	Posto Core: mina fino a 20 MLX al giorno

2Quali modelli ci stanno

A 4 bit per peso un modello richiede poco più di mezzo gigabyte per miliardo di parametri, più spazio per il contesto e per macOS. Con 16 GB, il chip M1 ospita comodamente modelli fino a circa 21 miliardi di parametri.

Modello a 4 bit	Memoria richiesta	Ci sta sul chip M1
Modello da 8B	4,5 GB	Sì
Modello da 14B	7,9 GB	Sì
Modello da 32B	18 GB	No
Modello da 70B	39,4 GB	No
gpt-oss-120b, mixture-of-experts	65 GB	No
Qwen3.5-397B-A17B, mixture-of-experts	223,3 GB	No
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	No

3Quanto è veloce

La scrittura del testo è limitata dalla larghezza di banda della memoria: ogni nuovo token legge una volta i pesi attivi del modello. Dividendo i 68 GB/s del chip M1 per i byte letti per token si ottiene il tetto qui sotto. Nelle prove reali si arriva di solito dal 45% all'80% circa di questo tetto (benchmark di llama.cpp).

Modello a 4 bit	Letti per token	Tetto per una chat
Modello da 8B	4,5 GB	15 token/s
Modello da 14B	7,9 GB	9 token/s

5Confronta con altri chip

6Domande

Il chip M1 può far girare un modello da 70B?: Non comodamente. Un modello da 70B a 4 bit richiede circa 40 GB, e il chip M1 ha al massimo 16 GB. I modelli fino a circa 21 miliardi di parametri ci stanno bene.
Quanti token al secondo fa il chip M1?: Con un modello da 8B a 4 bit il tetto è di circa 15 token al secondo, e nelle prove reali si arriva più o meno tra la metà e i quattro quinti. I modelli più grandi sono proporzionalmente più lenti.
Il chip M1 è adatto all'AI?: Per eseguire modelli in locale contano soprattutto memoria e larghezza di banda. Il chip M1 ha fino a 16 GB a 68 GB/s, abbastanza per modelli fino a circa 21 miliardi di parametri. Può anche guadagnare eseguendo lavoro di AI per MLX Network con MLX Node.

Fonti

Apple: M1apple.com
llama.cpp: Apple Silicon benchmarksgithub.com