Quanta RAM você precisa para rodar um LLM?

1A regra: parâmetros × bits

Um modelo é, na maior parte, os seus pesos: um número por parâmetro. Guardado em 16 bits, cada um ocupa 2 bytes, então um modelo precisa de 2 GB por bilhão de parâmetros. A quantização guarda cada peso em menos bits, o que encolhe o modelo quase na mesma proporção; em 4 bits, a maioria dos modelos fica perto da qualidade original.

Os formatos quantizados também guardam um pouco a mais para reconstruir os pesos. O MLX da Apple guarda, por padrão, uma escala e um bias para cada grupo de 64 pesos, no próprio tipo de 16 bits do modelo (MLX), o que soma meio bit por peso. Isso dá estes tamanhos:

Abaixo de 4 bits, a qualidade cai mais rápido. Um bom padrão é a maior precisão que cabe com folga.

2Memória para os tamanhos de modelo mais comuns

Alguns modelos já vêm numa precisão baixa própria. O gpt-oss-120b da OpenAI tem 117 bilhões de parâmetros e guarda os pesos de mistura de especialistas num formato de 4 bits, o MXFP4, então cabe numa única GPU de 80 GB (OpenAI). Para um modelo específico, abra a página dele: todos os modelos abertos e o Mac de que precisam, por exemplo gpt-oss-120b ou Llama 3.3 70B.

3O contexto também ocupa memória

Enquanto lê e escreve, o modelo guarda uma chave e um valor para cada token da conversa em cada camada: o KV cache. O tamanho dele é 2 × camadas × cabeças KV × tamanho da cabeça × bytes por valor × tokens.

O Qwen3 8B, por exemplo, tem 36 camadas, 8 cabeças KV e tamanho de cabeça 128, guardados em 16 bits (config). Isso dá 147.456 bytes por token:

Modelos com atenção de consulta agrupada (grouped-query attention), como este, guardam menos cabeças KV do que cabeças de atenção (8 contra 32), o que já corta o cache por quatro. Dá para economizar mais quantizando o cache: o servidor do mlx-lm aceita --kv-bits 4 (mlx-lm). Para chat, alguns milhares de tokens de contexto bastam; para agentes, documentos longos ou código, reserve vários gigabytes.

4Que tamanho de modelo cabe no Mac

A memória do Mac é dividida entre a CPU e a GPU, e o macOS deixa a GPU usar só parte dela por padrão. A nossa página Compare conta cerca de 75%; o README do mlx-lm mostra como aumentar o limite no macOS 15 ou posterior com sudo sysctl iogpu.wired_limit_mb=N (mlx-lm), mas o macOS e os seus outros apps ainda precisam de espaço.

A memória decide o que cabe; a largura de banda da memória decide a velocidade com que ele escreve. O melhor Mac para LLM local explica a segunda metade, e todos os Macs, em ranking junta as duas.

5RAM, VRAM e memória unificada

Num PC com placa de vídeo, um modelo só roda na velocidade máxima se couber na memória da própria placa, a VRAM: 32 GB numa RTX 5090 (NVIDIA). As camadas que não cabem podem rodar a partir da RAM do sistema do PC, mas essa memória é bem mais lenta de ler, então o modelo fica muito mais lento.

O Mac não tem VRAM separada: a GPU lê a mesma memória unificada que a CPU, e é por isso que um Mac com 64 GB ou 128 GB comporta modelos que nenhuma placa de vídeo de consumo sozinha comporta. Alguns PCs agora funcionam do mesmo jeito, como o DGX Spark da NVIDIA e as máquinas com Ryzen AI Max da AMD, com 128 GB divididos entre CPU e GPU: veja M5 Max vs DGX Spark e M5 Max vs RTX 5090.

6Modelos de mistura de especialistas (MoE)

Um modelo de mistura de especialistas guarda todos os parâmetros na memória, mas usa só alguns deles para cada token. A memória segue o total; a velocidade segue a parte ativa. O gpt-oss-20b tem 21 bilhões de parâmetros, com 3,6 bilhões ativos (OpenAI): precisa de memória como um modelo de 21B e escreve mais ou menos tão rápido quanto um de 4B.

Isso faz dos modelos de mistura de especialistas uma boa escolha para o Mac, que tem mais memória do que largura de banda em comparação com as placas de vídeo. O Compare mostra os dois números para cada modelo popular.

7Perguntas

Quanta RAM preciso para rodar um modelo de 70B?

Cerca de 39 GB para os pesos em 4 bits, mais o contexto: na prática, um Mac com 64 GB ou mais, ou várias placas de vídeo. Em 8 bits ele precisa de cerca de 74 GB, ou seja, 128 GB.

16 GB de RAM bastam para rodar um LLM?

Sim, para modelos de até cerca de 14B parâmetros em 4 bits: um Mac de 16 GB dá cerca de 12 GB à GPU por padrão. Modelos de 8B rodam com folga, sobrando espaço para o contexto. Veja os melhores LLMs para um Mac de 16 GB.

Quanta VRAM um modelo de 8B precisa?

Cerca de 4,5 GB em 4 bits, 8,5 GB em 8 bits e 16 GB em 16 bits, mais cerca de 1,2 GB para um contexto de 8.000 tokens, no caso do Qwen3 8B.

O tamanho do contexto usa memória?

Sim. O KV cache cresce a cada token da conversa. No Qwen3 8B, são cerca de 147 KB por token em 16 bits: cerca de 4,8 GB com 32.000 tokens.

Dá para rodar um modelo maior do que a minha RAM?

Não de forma útil. Se os pesos não cabem, o sistema usa swap ou lê de uma memória mais lenta, e a resposta sai a passo de tartaruga. Use uma precisão menor, um modelo menor ou um modelo de mistura de especialistas, ou divida-o entre várias máquinas: veja clusters de IA com Mac.