In breve
- MLX è il framework di machine learning di Apple per Apple Silicon. mlx-lm lo usa per eseguire modelli linguistici.
- llama.cpp è un motore di inferenza veloce in C/C++ che esegue modelli GGUF su quasi ogni hardware, Mac inclusi tramite Metal.
- Ollama è il front end semplice: un comando per scaricare ed eseguire un modello, con un'API locale. Su Apple Silicon ora ha un'anteprima basata su MLX.
- Per i risultati nativi più veloci su Mac usa MLX; per la scelta più ampia di modelli e piattaforme, llama.cpp; per iniziare nel modo più semplice, Ollama o LM Studio.
1Cos'è ciascuno
| MLX (mlx-lm) | llama.cpp | Ollama | |
|---|---|---|---|
| Creato da | Apple, open source (MIT) | Community open source | Ollama, open source |
| Funziona su | Apple Silicon | Mac, Windows, Linux, molte GPU | Mac, Windows, Linux |
| Formato dei modelli | MLX (safetensors) | GGUF | Libreria propria; GGUF e, in anteprima, MLX su Mac |
| Ideale per | Velocità e ricerca sui Mac | Portabilità, scelta della quantizzazione | Facilità d'uso, app che richiedono un'API |
| Addestramento e fine-tuning | Sì (LoRA e completo) | Limitato | No |
2Velocità su Apple Silicon
Nella generazione di testo, tutti e tre sono limitati dalla stessa cosa: la larghezza di banda della memoria. Le differenze dipendono da quanto bene ciascuno usa la GPU e da come sono quantizzati i suoi modelli.
MLX è scritto per la memoria unificata di Apple Silicon e, sui chip M5, usa gli acceleratori neurali della GPU: Apple ha misurato un tempo al primo token da 3,3 a 4,1 volte più rapido che su M4 (Apple). A marzo 2026 Ollama ha iniziato a passare a MLX su Apple Silicon, con un'anteprima che porta forti accelerazioni per i modelli supportati (Ollama), il che la dice lunga su dove si trovano oggi le prestazioni su Mac.
llama.cpp resta molto veloce e ben misurato sui Mac; il suo thread pubblico di benchmark è il miglior riferimento per confrontare i chip (llama.cpp). Per numeri specifici su MLX, vedi MLX Bench.
3Quale usare
- Vuoi chattare con un modello oggi stesso: LM Studio (un'app che esegue modelli sia MLX sia GGUF) o Ollama.
- Stai creando un'app che ha bisogno di un'API locale: Ollama, o
mlx_lm.serverper un endpoint compatibile con OpenAI su MLX. - Vuoi la massima velocità da un Mac, o fare fine-tuning: MLX con mlx-lm.
- Ti serve la stessa configurazione su Mac, Linux e Windows, o una specifica quantizzazione GGUF: llama.cpp.
La nostra guida passo passo per eseguire un LLM sul tuo Mac li copre tutti.
4MLX oltre il singolo Mac
MLX funziona anche su più Mac, tramite Thunderbolt 5 con RDMA (cluster AI di Mac). Ed è il motore di MLX Network: MLX Node esegue job di AI sul framework MLX per la rete e guadagna token MLX per il lavoro verificato. MLX Network è un progetto indipendente, non realizzato da Apple; ecco la differenza.
5Domande
- MLX è più veloce di llama.cpp?
- Su Apple Silicon, MLX è spesso veloce quanto llama.cpp o di più nella generazione, e soprattutto nell'elaborazione dei prompt sui chip M5. I risultati variano per modello e quantizzazione, quindi confrontali sul tuo Mac.
- Ollama può usare MLX?
- Sì, in anteprima da Ollama 0.19 su Apple Silicon, per i modelli supportati, sui Mac con più di 32 GB di memoria.
- I modelli MLX e GGUF sono diversi?
- Sono formati di file diversi per gli stessi tipi di modelli. Molti modelli popolari sono pubblicati in entrambi; l'organizzazione mlx-community su Hugging Face ha migliaia di conversioni MLX.