Come faccio a sapere se un LLM girerà sul mio Mac?

Confronta la dimensione del modello alla precisione che vuoi con la memoria unificata del tuo Mac. Di default macOS lascia usare alla GPU circa il 75% di questa memoria, e il modello ha bisogno anche di spazio per il contesto. Un modello a 4 bit richiede poco più di mezzo gigabyte per ogni miliardo di parametri.

Quanti token al secondo otterrò?

La scrittura è limitata dalla larghezza di banda della memoria: ogni token legge una volta i pesi attivi del modello. La larghezza di banda divisa per i byte letti a ogni token è il tetto per una conversazione; nella realtà si arriva di solito al 45%–80% di quel valore.

Perché i modelli mixture-of-experts (MoE) sono più veloci?

Tengono in memoria molti esperti ma ne usano solo pochi per ogni token, quindi ogni token legge molti meno byte. Serve memoria per l’intero modello, ma la velocità è quella di un modello molto più piccolo.

Per la maggior parte dei modelli, 4 bit mantengono una qualità vicina all’originale. Sotto i 4 bit la qualità cala più in fretta, per questo le versioni sotto i 4 bit sono segnalate.

Cosa può far girare il tuo Mac?

Scegli il tuo Mac, o qualsiasi altra macchina, e scopri quali modelli di IA aperti entrano nella sua memoria e quanto velocemente li fa girare. Calcolato dalla scheda di ogni modello e dai dati pubblicati di memoria e larghezza di banda di ogni chip.

La tua macchina

Apple M5 con 16 GB: circa 12 GB per i modelli di default, 153 GB/s di larghezza di banda della memoria. 20 dei 43 modelli più popolari ci girano. La sua pagina Misurato: 32 token/s con Llama 2 7B a 4 bit in llama.cpp (M5 (10-core GPU)).

Gira bene Ci sta con spazio per il contesto, a 10 o più token al secondo.

Gemma 4 E4BGoogle DeepMind · 2026-03 · contesto 128K · immaginiIntelligenza 8,9Scheda del modello Versione MLX8B8 bit8,5 GB Ci sta14–26 tok/s

Qwen3.5 4BQwen (Alibaba) · 2026-02 · contesto 256K · immaginiScheda del modello Versione MLX4B8 bit4,3 GB Ci sta16–28 tok/s

Llama 3.2 3B InstructMeta · 2024-09 · contesto 128KScheda del modello Versione MLX3,21B8 bit3,4 GB Ci sta20–36 tok/s

SmolLM3 3BHugging Face · 2025-07 · contesto 64KScheda del modello Versione MLX3B8 bit3,2 GB Ci sta22–38 tok/s

Qwen3.5 0.8BQwen (Alibaba) · 2026-02 · contesto 256K · immaginiScheda del modello Versione MLX0,8B8 bit0,9 GB Ci sta77–136 tok/s

Nemotron 3.5 Lightning 30B A3BNVIDIA · 2026-08 · contesto 256KIntelligenza 12,9Scheda del modello Versione MLX30B · 3B attivi2 bit qualità inferiore9,4 GB Ci sta77–136 tok/s

gpt-oss-20bOpenAI · 2025-08 · contesto 128KIntelligenza 9Scheda del modello Versione MLX21B · 3,6B attivi3 bit qualità inferiore9,2 GB Ci sta43–77 tok/s

Distribuito in un formato nativo a pochi bit: circa 14 GB di pesi.

Qwen3 Coder 30B A3B InstructQwen (Alibaba) · 2025-07 · contesto 256KScheda del modello Versione MLX30,5B · 3,3B attivi2 bit qualità inferiore9,5 GB Ci sta69–122 tok/s

GLM-4.7 FlashZ.ai (Zhipu) · 2026-01 · contesto 198KScheda del modello Versione MLX30B · 3B attivi2 bit qualità inferiore9,4 GB Ci sta77–136 tok/s

Gemma 4 26B A4BGoogle DeepMind · 2026-03 · contesto 256K · immaginiScheda del modello Versione MLX25,2B · 3,8B attivi2 bit qualità inferiore7,9 GB Ci sta57–102 tok/s

LFM2.5 24B A2BLiquid AI · 2026-10 · contesto 128KScheda del modello Versione MLX24B · 2B attivi3 bit qualità inferiore10,5 GB Ci sta77–136 tok/s

Gira, ma lentamente Ci sta, ma sotto i 10 token al secondo: va bene per i lavori in batch, ma è lento per la chat.

Qwen3.5 9BQwen (Alibaba) · 2026-02 · contesto 256K · immaginiIntelligenza 11,2Scheda del modello Versione MLX9B8 bit9,6 GB Ci sta7–13 tok/s

Granite 4.2 8BIBM · 2026-08 · contesto 128KIntelligenza 11,1Scheda del modello8B8 bit8,5 GB Ci sta8–14 tok/s

Phi-4 (14B)Microsoft · 2024-12 · contesto 16KScheda del modello Versione MLX14B4 bit7,9 GB Ci sta9–15 tok/s

Gemma 4 12B UnifiedGoogle DeepMind · 2026-05 · contesto 256K · immaginiScheda del modello Versione MLX12B6 bit9,7 GB Ci sta7–13 tok/s

Llama 3.1 8B InstructMeta · 2024-07 · contesto 128KScheda del modello Versione MLX8B8 bit8,5 GB Ci sta8–14 tok/s

Qwen3.8 27BQwen (Alibaba) · 2026-08 · contesto 256K · immaginiIntelligenza 33,7Scheda del modello Versione MLX27B2 bit qualità inferiore8,4 GB Ci sta8–15 tok/s

Muse Glimmer 30BMeta (Meta Superintelligence Lab) · 2026-08 · contesto 128K · immaginiIntelligenza 17,5Scheda del modello Versione MLX29,6B2 bit qualità inferiore9,3 GB Ci sta7–13 tok/s

Gemma 4 31BGoogle DeepMind · 2026-03 · contesto 256K · immaginiIntelligenza 14,7Scheda del modello Versione MLX30,7B2 bit qualità inferiore9,6 GB Ci sta7–13 tok/s

Devstral Small 2 (24B)Mistral AI · 2025-11 · contesto 256K · immaginiScheda del modello Versione MLX24B3 bit qualità inferiore10,5 GB Ci sta7–12 tok/s

Ci sta al limite Richiede quasi tutta la memoria: alza il limite di memoria della GPU e tieni il contesto breve.

Qwen3.6 35B A3BQwen (Alibaba) · 2026-04 · contesto 256K · immaginiIntelligenza 18,2Scheda del modello Versione MLX35B · 3B attivi2 bit qualità inferiore10,9 GB Al limite77–136 tok/s

Intelligenza: Artificial Analysis Intelligence Index v4.3.2, dove misurato. I nomi dei modelli rimandano alle schede ufficiali.

Come è calcolato

Memoria. Ogni modello è mostrato alla precisione più alta che entra: 8, 6, 4, 3 o 2 bit per peso, più le scale per gruppo di MLX (mezzo bit per peso), oppure nel formato nativo quando è distribuito così. Su un Mac la GPU può usare di default circa il 75% della memoria unificata; sopra lasciamo spazio per il contesto.

Velocità. Per scrivere, ogni token legge una volta tutti i pesi attivi, quindi la larghezza di banda della memoria divisa per quei byte è il tetto per una conversazione. Nei benchmark pubblici di llama.cpp su Apple Silicon le esecuzioni reali arrivano a circa il 45%–80% di quel tetto, ed è l’intervallo mostrato. La lettura di un prompt lungo dipende invece dalla potenza di calcolo e non è mostrata.

Fonti. Parametri, contesto e licenze vengono dalla scheda ufficiale di ogni modello su Hugging Face (collegata dal nome); memoria e larghezza di banda dalle specifiche di Apple e dei produttori. Verificato il 2026-10-19. Misura il tuo Mac con MLX Bench. Tutti i Mac, tutti i modelli e la tabella di compatibilità completa si scaricano gratis in JSON e CSV: dati aperti.

Sfoglia. Ogni Mac, da un M1 con 8 GB a un M5 Ultra con 512 GB, con ogni modello che fa girare, e ogni modello con il Mac più piccolo che gli serve.

Prova a farli girare. Passo per passo: scaricare ed eseguire LLM su un Mac, MLX vs Ollama vs llama.cpp e il miglior Mac per gli LLM locali. Mentre il tuo Mac è inattivo, può guadagnare MLX Token.

Come faccio a sapere se un LLM girerà sul mio Mac?: Confronta la dimensione del modello alla precisione che vuoi con la memoria unificata del tuo Mac. Di default macOS lascia usare alla GPU circa il 75% di questa memoria, e il modello ha bisogno anche di spazio per il contesto. Un modello a 4 bit richiede poco più di mezzo gigabyte per ogni miliardo di parametri.
Quanti token al secondo otterrò?: La scrittura è limitata dalla larghezza di banda della memoria: ogni token legge una volta i pesi attivi del modello. La larghezza di banda divisa per i byte letti a ogni token è il tetto per una conversazione; nella realtà si arriva di solito al 45%–80% di quel valore.
Perché i modelli mixture-of-experts (MoE) sono più veloci?: Tengono in memoria molti esperti ma ne usano solo pochi per ogni token, quindi ogni token legge molti meno byte. Serve memoria per l’intero modello, ma la velocità è quella di un modello molto più piccolo.
I 4 bit bastano?: Per la maggior parte dei modelli, 4 bit mantengono una qualità vicina all’originale. Sotto i 4 bit la qualità cala più in fretta, per questo le versioni sotto i 4 bit sono segnalate.