Il miglior Mac per LLM in locale.

1Perché memoria e larghezza di banda decidono tutto

Un modello linguistico scrive un token alla volta, e per ciascuno legge dalla memoria tutti i pesi attivi. Quindi il limite di velocità per una singola conversazione è all'incirca la larghezza di banda della memoria divisa per la dimensione dei pesi attivi. Nei benchmark pubblici di llama.cpp, la generazione reale raggiunge dal 43% all'80% di quel limite sui chip Apple (llama.cpp).

La lettura del prompt è diversa: quella parte è limitata dal calcolo, ed è per questo che i chip della generazione M5, con acceleratori neurali nella GPU, elaborano i prompt diverse volte più velocemente dei precedenti (Apple).

2Tutti i chip a confronto

I chip più vecchi funzionano ancora bene se hanno la memoria. Un M1 Max o M2 Max con 64 GB legge a 400 GB/s, più di qualsiasi chip base attuale, e spesso usato costa molto meno.

3Quale Mac comprare

Solo per provare: MacBook Air o Mac mini da 16 a 32 GB

Esegue comodamente modelli da 7B a 14B e, con 32 GB, modelli di classe 30B. Va bene per chat, scrittura e un aiuto leggero nella programmazione.

Miglior rapporto qualità-prezzo: chip Pro con 64 GB

Un Mac mini o un MacBook Pro con M4 Pro o M5 Pro ospita modelli di classe 70B ed esegue i modelli medi a buon ritmo. Il punto di equilibrio per la maggior parte degli sviluppatori.

AI locale seria: chip Max con 128 GB

Esegue gpt-oss-120b (circa 65 GB a 4 bit) su un portatile; in base alla larghezza di banda dichiarata da Apple, il limite teorico per un singolo flusso su M5 Max è di circa 225 token al secondo. La scelta portatile migliore.

I modelli più grandi: Mac Studio con Ultra

Fino a 512 GB a 1,2 TB/s con M5 Ultra: modelli da centinaia di miliardi di parametri su una sola scrivania. Per modelli ancora più grandi, più Mac possono essere uniti in un cluster tramite Thunderbolt 5: leggi cluster AI di Mac.

4Fai rendere il tuo Mac

Un Mac comprato per l'AI passa gran parte del tempo ad aspettare. MLX Node è un'app gratuita che presta quella capacità inutilizzata a MLX Network, eseguendo job di AI sullo stesso framework MLX e guadagnando token MLX per il lavoro verificato. Un posto dedicato abbinato al chip moltiplica ciò che guadagna: un posto Pro funziona a pieno regime su un chip Pro o Max, un posto Ultra su un chip Ultra.

Prima confronta il tuo Mac su MLX Bench: mostra i token al secondo misurati con modelli aperti su ogni chip.

5Domande

16 GB bastano per un LLM in locale?

Sì, per modelli fino a circa 14 miliardi di parametri a 4 bit. Per modelli più grandi, o contesti lunghi, 32 GB o più sono molto più comodi.

Mac Studio o MacBook Pro per gli LLM?

Entrambi sono disponibili con chip Max e fino a 128 GB. Il MacBook Pro è portatile; il Mac Studio resta più fresco sotto carichi prolungati ed è l'unico Mac con chip Ultra e fino a 512 GB.

Un Mac è meglio di una GPU Nvidia per l'AI in locale?

Per i modelli più grandi a casa, spesso sì: la memoria unificata di un Mac può contenere molto più della memoria di una scheda grafica consumer. Una scheda Nvidia di fascia alta è più veloce sui modelli che entrano nella sua memoria.

L'M5 rende gli LLM più veloci?

Sì, soprattutto nella lettura dei prompt: Apple ha misurato il primo token in arrivo da 3,3 a 4,1 volte prima su M5 rispetto a M4 con MLX. La velocità di generazione cresce con la larghezza di banda della memoria, aumentata del 28% da M4 a M5.