Como sei se um LLM vai rodar no meu Mac?

Compare o tamanho do modelo na precisão que você quer com a memória unificada do seu Mac. Por padrão, o macOS deixa a GPU usar cerca de 75% dela, e o modelo também precisa de espaço para o contexto. Um modelo de 4 bits precisa de pouco mais de meio gigabyte por bilhão de parâmetros.

Quantos tokens por segundo vou conseguir?

A geração é limitada pela largura de banda da memória: cada token lê uma vez os pesos ativos do modelo. A largura de banda dividida pelos bytes lidos por token é o teto para uma conversa; na prática se chega a cerca de 45% a 80% dele.

Por que os modelos de mistura de especialistas (MoE) são mais rápidos?

Eles guardam muitos especialistas na memória, mas usam só alguns para cada token, então cada token lê muito menos bytes. Precisam de memória para o modelo inteiro, mas rodam na velocidade de um modelo bem menor.

4 bits é suficiente?

Na maioria dos modelos, 4 bits mantém a qualidade próxima da original. Abaixo de 4 bits a qualidade cai mais rápido, por isso as versões com menos de 4 bits vêm marcadas.

O que o seu Mac consegue rodar?

Escolha seu Mac, ou qualquer outra máquina, e veja quais modelos de IA abertos cabem na memória e com que velocidade ela os executa. Calculado a partir do card de cada modelo e da memória e largura de banda divulgadas de cada chip.

Sua máquina

Apple M5 com 16 GB: cerca de 12 GB para modelos por padrão, 153 GB/s de largura de banda de memória. 20 de 43 modelos populares rodam nele. Página dele Medido: 32 tokens/s com Llama 2 7B em 4 bits no llama.cpp (M5 (10-core GPU)).

Roda bem Cabe com espaço para o contexto, a 10 tokens por segundo ou mais.

Gemma 4 E4BGoogle DeepMind · 2026-03 · contexto de 128K · imagensInteligência 8,9Card do modelo Versão MLX8B8 bits8,5 GB Cabe14–26 tok/s

Qwen3.5 4BQwen (Alibaba) · 2026-02 · contexto de 256K · imagensCard do modelo Versão MLX4B8 bits4,3 GB Cabe16–28 tok/s

Llama 3.2 3B InstructMeta · 2024-09 · contexto de 128KCard do modelo Versão MLX3,21B8 bits3,4 GB Cabe20–36 tok/s

SmolLM3 3BHugging Face · 2025-07 · contexto de 64KCard do modelo Versão MLX3B8 bits3,2 GB Cabe22–38 tok/s

Qwen3.5 0.8BQwen (Alibaba) · 2026-02 · contexto de 256K · imagensCard do modelo Versão MLX0,8B8 bits0,9 GB Cabe77–136 tok/s

Nemotron 3.5 Lightning 30B A3BNVIDIA · 2026-08 · contexto de 256KInteligência 12,9Card do modelo Versão MLX30B · 3B ativos2 bits qualidade menor9,4 GB Cabe77–136 tok/s

gpt-oss-20bOpenAI · 2025-08 · contexto de 128KInteligência 9Card do modelo Versão MLX21B · 3,6B ativos3 bits qualidade menor9,2 GB Cabe43–77 tok/s

Distribuído num formato nativo de poucos bits: cerca de 14 GB de pesos.

Qwen3 Coder 30B A3B InstructQwen (Alibaba) · 2025-07 · contexto de 256KCard do modelo Versão MLX30,5B · 3,3B ativos2 bits qualidade menor9,5 GB Cabe69–122 tok/s

GLM-4.7 FlashZ.ai (Zhipu) · 2026-01 · contexto de 198KCard do modelo Versão MLX30B · 3B ativos2 bits qualidade menor9,4 GB Cabe77–136 tok/s

Gemma 4 26B A4BGoogle DeepMind · 2026-03 · contexto de 256K · imagensCard do modelo Versão MLX25,2B · 3,8B ativos2 bits qualidade menor7,9 GB Cabe57–102 tok/s

LFM2.5 24B A2BLiquid AI · 2026-10 · contexto de 128KCard do modelo Versão MLX24B · 2B ativos3 bits qualidade menor10,5 GB Cabe77–136 tok/s

Roda, mas devagar Cabe, mas abaixo de 10 tokens por segundo: serve para trabalho em lote, mas é lento para chat.

Qwen3.5 9BQwen (Alibaba) · 2026-02 · contexto de 256K · imagensInteligência 11,2Card do modelo Versão MLX9B8 bits9,6 GB Cabe7–13 tok/s

Granite 4.2 8BIBM · 2026-08 · contexto de 128KInteligência 11,1Card do modelo8B8 bits8,5 GB Cabe8–14 tok/s

Phi-4 (14B)Microsoft · 2024-12 · contexto de 16KCard do modelo Versão MLX14B4 bits7,9 GB Cabe9–15 tok/s

Gemma 4 12B UnifiedGoogle DeepMind · 2026-05 · contexto de 256K · imagensCard do modelo Versão MLX12B6 bits9,7 GB Cabe7–13 tok/s

Llama 3.1 8B InstructMeta · 2024-07 · contexto de 128KCard do modelo Versão MLX8B8 bits8,5 GB Cabe8–14 tok/s

Qwen3.8 27BQwen (Alibaba) · 2026-08 · contexto de 256K · imagensInteligência 33,7Card do modelo Versão MLX27B2 bits qualidade menor8,4 GB Cabe8–15 tok/s

Muse Glimmer 30BMeta (Meta Superintelligence Lab) · 2026-08 · contexto de 128K · imagensInteligência 17,5Card do modelo Versão MLX29,6B2 bits qualidade menor9,3 GB Cabe7–13 tok/s

Gemma 4 31BGoogle DeepMind · 2026-03 · contexto de 256K · imagensInteligência 14,7Card do modelo Versão MLX30,7B2 bits qualidade menor9,6 GB Cabe7–13 tok/s

Devstral Small 2 (24B)Mistral AI · 2025-11 · contexto de 256K · imagensCard do modelo Versão MLX24B3 bits qualidade menor10,5 GB Cabe7–12 tok/s

Cabe no limite Precisa de quase toda a memória: aumente o limite de memória da GPU e mantenha o contexto curto.

Qwen3.6 35B A3BQwen (Alibaba) · 2026-04 · contexto de 256K · imagensInteligência 18,2Card do modelo Versão MLX35B · 3B ativos2 bits qualidade menor10,9 GB No limite77–136 tok/s

Inteligência: Artificial Analysis Intelligence Index v4.3.2, quando medido. Os nomes dos modelos levam aos cards oficiais.

Como é calculado

Memória. Cada modelo aparece na maior precisão que cabe: 8, 6, 4, 3 ou 2 bits por peso, mais as escalas por grupo do MLX (meio bit por peso), ou no formato nativo quando é distribuído assim. Num Mac, a GPU pode usar cerca de 75% da memória unificada por padrão; por cima disso deixamos espaço para o contexto.

Velocidade. Para gerar texto, cada token lê uma vez todos os pesos ativos, então a largura de banda da memória dividida por esses bytes é o teto para uma conversa. Nos benchmarks públicos de Apple Silicon do llama.cpp, execuções reais chegam a cerca de 45% a 80% desse teto, que é a faixa mostrada. Ler um prompt longo depende do poder de processamento e não aparece aqui.

Fontes. Parâmetros, contexto e licenças vêm do card oficial de cada modelo no Hugging Face (com link no nome); memória e largura de banda, das especificações da Apple e de cada fabricante. Verificado em 2026-10-19. Meça o seu Mac no MLX Bench. Todos os Macs, todos os modelos e a tabela completa de compatibilidade podem ser baixados de graça em JSON e CSV: dados abertos.

Explore. Todos os Macs, de um M1 com 8 GB a um M5 Ultra com 512 GB, com cada modelo que rodam, e todos os modelos com o menor Mac de que precisam.

Rode você mesmo. Passo a passo: baixar e rodar LLMs no Mac, MLX vs. Ollama vs. llama.cpp e o melhor Mac para LLMs locais. Enquanto o seu Mac está ocioso, ele pode ganhar MLX Tokens.

Como sei se um LLM vai rodar no meu Mac?: Compare o tamanho do modelo na precisão que você quer com a memória unificada do seu Mac. Por padrão, o macOS deixa a GPU usar cerca de 75% dela, e o modelo também precisa de espaço para o contexto. Um modelo de 4 bits precisa de pouco mais de meio gigabyte por bilhão de parâmetros.
Quantos tokens por segundo vou conseguir?: A geração é limitada pela largura de banda da memória: cada token lê uma vez os pesos ativos do modelo. A largura de banda dividida pelos bytes lidos por token é o teto para uma conversa; na prática se chega a cerca de 45% a 80% dele.
Por que os modelos de mistura de especialistas (MoE) são mais rápidos?: Eles guardam muitos especialistas na memória, mas usam só alguns para cada token, então cada token lê muito menos bytes. Precisam de memória para o modelo inteiro, mas rodam na velocidade de um modelo bem menor.
4 bits é suficiente?: Na maioria dos modelos, 4 bits mantém a qualidade próxima da original. Abaixo de 4 bits a qualidade cai mais rápido, por isso as versões com menos de 4 bits vêm marcadas.