En resumen
- Pesos: parámetros × bits por peso ÷ 8. Con el formato de 4 bits de MLX son unos 0,56 GB por cada mil millones de parámetros; a 8 bits, unos 1,06 GB, y a 16 bits, 2 GB.
- Así, un modelo de 8B necesita unos 4,5 GB a 4 bits, uno de 32B unos 18 GB y uno de 70B unos 39 GB, antes del contexto.
- El contexto (la KV cache) se suma y crece con cada token: en Qwen3 8B, un contexto de 32 000 tokens ocupa unos 4,8 GB, más que sus pesos a 4 bits.
- En una Mac, la GPU puede usar por defecto alrededor del 75 % de la memoria unificada, así que una Mac de 16 GB deja unos 12 GB para un modelo. En un PC, el modelo tiene que caber en la VRAM de la propia tarjeta gráfica para ir a toda velocidad.
1La regla: parámetros × bits
Un modelo es sobre todo sus pesos: un número por parámetro. Guardado a 16 bits, cada uno ocupa 2 bytes, así que un modelo necesita 2 GB por cada mil millones de parámetros. La cuantización guarda cada peso en menos bits, lo que reduce el modelo casi en la misma proporción; a 4 bits la mayoría de los modelos se mantienen cerca de su calidad original.
Los formatos cuantizados también guardan un poco más para reconstruir los pesos. MLX de Apple guarda por defecto una escala y un sesgo por cada grupo de 64 pesos, en el propio tipo de 16 bits del modelo (MLX), lo que suma medio bit por peso. Eso da estos tamaños:
| Precisión | Bits por peso | GB por cada mil millones de parámetros |
|---|---|---|
| 16 bits (original) | 16 | 2,0 |
| 8 bits | 8,5 | unos 1,06 |
| 6 bits | 6,5 | unos 0,81 |
| 4 bits | 4,5 | unos 0,56 |
| 3 bits | 3,5 | unos 0,44 |
| 2 bits | 2,5 | unos 0,31 |
Por debajo de 4 bits, la calidad cae más deprisa. Una buena opción por defecto es la mayor precisión que quepa con margen.
2Memoria para los tamaños de modelo más comunes
| Tamaño del modelo | 16 bits | 8 bits | 4 bits | 3 bits |
|---|---|---|---|---|
| 1B | 2 GB | 1,1 GB | 0,6 GB | 0,4 GB |
| 3B | 6 GB | 3,2 GB | 1,7 GB | 1,3 GB |
| 8B | 16 GB | 8,5 GB | 4,5 GB | 3,5 GB |
| 14B | 28 GB | 14,9 GB | 7,9 GB | 6,1 GB |
| 32B | 64 GB | 34 GB | 18 GB | 14 GB |
| 70B | 140 GB | 74,4 GB | 39,4 GB | 30,6 GB |
| 120B | 240 GB | 127,5 GB | 67,5 GB | 52,5 GB |
| 235B | 470 GB | 249,7 GB | 132,2 GB | 102,8 GB |
| 405B | 810 GB | 430,3 GB | 227,8 GB | 177,2 GB |
| 671B | 1342 GB | 712,9 GB | 377,4 GB | 293,6 GB |
Algunos modelos vienen ya en una precisión baja propia. gpt-oss-120b de OpenAI tiene 117 000 millones de parámetros y guarda sus pesos de mezcla de expertos en un formato de 4 bits, MXFP4, así que cabe en una sola GPU de 80 GB (OpenAI). Para un modelo concreto, abre su página: cada modelo abierto y la Mac que necesita, por ejemplo gpt-oss-120b o Llama 3.3 70B.
3El contexto también ocupa memoria
Mientras un modelo lee y escribe, guarda una clave y un valor por cada token de la conversación en cada capa: la KV cache. Su tamaño es 2 × capas × cabezas KV × tamaño de cabeza × bytes por valor × tokens.
Qwen3 8B, por ejemplo, tiene 36 capas, 8 cabezas KV y un tamaño de cabeza de 128, guardados a 16 bits (config). Son 147 456 bytes por token:
| Contexto | KV cache de Qwen3 8B (16 bits) |
|---|---|
| 8192 tokens | unos 1,2 GB |
| 32 768 tokens | unos 4,8 GB |
| 40 960 tokens (su contexto completo) | unos 6,0 GB |
Los modelos con atención de consultas agrupadas (grouped-query attention), como este, guardan menos cabezas KV que cabezas de atención (8 frente a 32), lo que ya divide la cache entre cuatro. Puedes ahorrar más cuantizando la cache: el servidor de mlx-lm acepta --kv-bits 4 (mlx-lm). Para chatear bastan unos pocos miles de tokens de contexto; para agentes, documentos largos o código, cuenta con varios gigabytes.
4Qué tamaño de modelo cabe en una Mac
La memoria de una Mac la comparten la CPU y la GPU, y macOS solo deja que la GPU use una parte por defecto. Nuestra página Compare cuenta alrededor del 75 %; el README de mlx-lm explica cómo subir el límite en macOS 15 o posterior con sudo sysctl iogpu.wired_limit_mb=N (mlx-lm), pero macOS y tus otras apps siguen necesitando espacio.
| Memoria de la Mac | Para la GPU (alrededor del 75 %) | Modelo más grande a 4 bits | Más grande a 8 bits |
|---|---|---|---|
| 8 GB | 6 GB | unos 10B | unos 5B |
| 16 GB | 12 GB | unos 21B | unos 11B |
| 24 GB | 18 GB | unos 32B | unos 16B |
| 32 GB | 24 GB | unos 42B | unos 22B |
| 36 GB | 27 GB | unos 48B | unos 25B |
| 48 GB | 36 GB | unos 64B | unos 33B |
| 64 GB | 48 GB | unos 85B | unos 45B |
| 96 GB | 72 GB | unos 128B | unos 67B |
| 128 GB | 96 GB | unos 170B | unos 90B |
| 256 GB | 192 GB | unos 341B | unos 180B |
| 512 GB | 384 GB | unos 682B | unos 361B |
La memoria decide qué cabe; el ancho de banda de memoria, a qué velocidad escribe. La mejor Mac para LLM en local explica esa segunda mitad, y todas las Mac, en ranking junta las dos.
5RAM, VRAM y memoria unificada
En un PC con tarjeta gráfica, un modelo solo va a toda velocidad si cabe en la memoria propia de la tarjeta, su VRAM: 32 GB en una RTX 5090 (NVIDIA). Las capas que no caben pueden ejecutarse desde la RAM del sistema, pero esa memoria es mucho más lenta de leer, así que el modelo se ralentiza mucho.
Una Mac no tiene VRAM aparte: la GPU lee la misma memoria unificada que la CPU, y por eso una Mac con 64 GB o 128 GB puede contener modelos que no caben en ninguna tarjeta gráfica de consumo. Algunos PC ya funcionan igual, como el DGX Spark de NVIDIA y los equipos con AMD Ryzen AI Max con 128 GB compartidos entre CPU y GPU: consulta M5 Max vs DGX Spark y M5 Max vs RTX 5090.
6Modelos de mezcla de expertos
Un modelo de mezcla de expertos (MoE) tiene todos sus parámetros en memoria, pero solo usa unos pocos para cada token. La memoria depende del total; la velocidad, de la parte activa. gpt-oss-20b tiene 21 000 millones de parámetros, 3600 millones activos (OpenAI): necesita memoria como un modelo de 21B y escribe más o menos tan rápido como uno de 4B.
Por eso los modelos de mezcla de expertos encajan bien en las Mac, que tienen más memoria que ancho de banda en comparación con las tarjetas gráficas. Compare muestra los dos números para cada modelo popular.
7Preguntas
- ¿Cuánta RAM necesito para ejecutar un modelo de 70B?
- Unos 39 GB para los pesos a 4 bits, más el contexto: en la práctica, una Mac con 64 GB o más, o varias tarjetas gráficas. A 8 bits necesita unos 74 GB, así que 128 GB.
- ¿Bastan 16 GB de RAM para ejecutar un LLM?
- Sí, para modelos de hasta unos 14B parámetros a 4 bits: una Mac de 16 GB da a la GPU unos 12 GB por defecto. Los modelos de 8B funcionan con soltura y con espacio para el contexto. Consulta los mejores LLM para una Mac de 16 GB.
- ¿Cuánta VRAM necesita un modelo de 8B?
- Unos 4,5 GB a 4 bits, 8,5 GB a 8 bits y 16 GB a 16 bits, más alrededor de 1,2 GB para un contexto de 8000 tokens en el caso de Qwen3 8B.
- ¿La longitud del contexto ocupa memoria?
- Sí. La KV cache crece con cada token de la conversación. En Qwen3 8B son unos 147 KB por token a 16 bits: unos 4,8 GB con 32 000 tokens.
- ¿Puedo ejecutar un modelo más grande que mi RAM?
- No de forma útil. Si los pesos no caben, el sistema recurre al intercambio o lee de una memoria más lenta, y la respuesta se vuelve lentísima. Usa una precisión más baja, un modelo más pequeño o uno de mezcla de expertos, o repártelo entre varias máquinas: consulta clústeres de IA con Mac.