Esegui un LLM sul tuo Mac.

1Cosa entra nel tuo Mac

I pesi di un modello devono stare in memoria lasciando margine per il contesto e per macOS. A 4 bit per peso, calcola circa da 0,55 a 0,6 GB per miliardo di parametri.

La velocità è un'altra questione: ogni nuovo token richiede di leggere una volta i pesi attivi dalla memoria, quindi i token al secondo crescono con la larghezza di banda della memoria. La nostra guida al miglior Mac per LLM in locale copre ogni chip.

2Il modo facile: LM Studio

LM Studio è un'app gratuita per Mac con una finestra di chat e un catalogo di modelli. Su Apple Silicon può eseguire modelli sia nel formato MLX di Apple sia nel formato GGUF usato da llama.cpp.

1. Scarica LM Studio e aprilo.
2. Cerca un modello, su Apple Silicon preferisci una versione MLX e scegli una dimensione adatta alla tua memoria.
3. Caricalo e inizia a chattare. Puoi anche attivare il suo server locale per altre app.

3Un solo comando: Ollama

Ollama esegue modelli dal Terminale e li mette a disposizione delle altre app sul tuo Mac. Dopo averlo installato, un solo comando scarica e avvia un modello:

ollama run llama3.2

Dalla versione 0.19, Ollama su Apple Silicon ha un'anteprima basata sul framework MLX di Apple per i modelli supportati, con forti accelerazioni; l'anteprima richiede un Mac con più di 32 GB di memoria (Ollama).

4Il modo più veloce: MLX di Apple e mlx-lm

MLX è il framework open source di machine learning di Apple per Apple Silicon, e mlx-lm è il suo pacchetto per i modelli linguistici. Migliaia di modelli pronti all'uso sono disponibili nell'organizzazione mlx-community su Hugging Face.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

Usa mlx_lm.chat per una conversazione nel Terminale e mlx_lm.server per un'API locale che altre app possono chiamare. Sui chip M5, MLX usa i nuovi acceleratori neurali nella GPU: Apple ha misurato il primo token in arrivo da 3,3 a 4,1 volte prima che su M4 (Apple Machine Learning Research).

5Misuralo, poi mettilo al lavoro

MLX Bench è una classifica aperta della velocità di MLX su ogni chip Apple Silicon: token al secondo in generazione e sul prompt, e picco di memoria. Esegui lo script in un unico file sul tuo Mac e guarda dove si piazza.

Quando non usi il Mac, può eseguire AI per altri. MLX Node è un'app gratuita che esegue job di AI per MLX Network sullo stesso framework MLX e guadagna token MLX per il lavoro verificato, entro i limiti che imposti.

6Domande

Un MacBook Air può eseguire un LLM?

Sì. Un MacBook Air con 16 GB esegue comodamente modelli da 7B a 14B a 4 bit; con 32 GB, modelli fino a circa 30B. Sarà più lento di un Mac con chip Pro o Max, che ha più larghezza di banda di memoria.

MLX è più veloce di Ollama su Mac?

Spesso sì, perché MLX è scritto per Apple Silicon. La stessa anteprima di Ollama basata su MLX riporta forti accelerazioni su Apple Silicon. La nostra guida MLX vs Ollama li confronta nel dettaglio.

I modelli locali funzionano offline?

Sì. Una volta scaricato, il modello gira interamente sul tuo Mac e i tuoi prompt non lo lasciano mai.

Quanta memoria serve per un modello 70B?

Circa 40 GB per i pesi a 4 bit, quindi un Mac con 64 GB o più. I modelli mixture-of-experts di qualità simile possono richiedere più memoria, ma girano più veloci.