¿Cómo sé si un LLM funcionará en mi Mac?

Compara el tamaño del modelo con la precisión que quieras con la memoria unificada de tu Mac. De forma predeterminada, macOS deja que la GPU use alrededor del 75 % de ella, y el modelo también necesita espacio para su contexto. Un modelo de 4 bits necesita algo más de medio gigabyte por cada mil millones de parámetros.

¿Cuántos tokens por segundo voy a obtener?

La escritura está limitada por el ancho de banda de memoria: cada token lee una vez los pesos activos del modelo. El ancho de banda dividido entre los bytes leídos por token es el techo para una conversación; en la práctica se suele llegar a entre el 45 % y el 80 %.

¿Por qué los modelos de mezcla de expertos (MoE) van más rápido?

Guardan muchos expertos en memoria, pero usan solo unos pocos para cada token, así que cada token lee muchos menos bytes. Necesitan memoria para el modelo entero, pero corren a la velocidad de uno mucho más pequeño.

En la mayoría de los modelos, 4 bits mantiene una calidad cercana a la original. Por debajo de 4 bits la calidad cae más rápido, por eso las versiones de menos de 4 bits van marcadas.

¿Qué puede ejecutar tu Mac?

Elige tu Mac, o cualquier otra máquina, y mira qué modelos de IA abiertos caben en su memoria y a qué velocidad los ejecuta. Calculado a partir de la ficha de cada modelo y de la memoria y el ancho de banda publicados de cada chip.

Tu máquina

Apple M5 con 16 GB: unos 12 GB para modelos de forma predeterminada, 153 GB/s de ancho de banda de memoria. 20 de 43 modelos populares funcionan en él. Su página Medido: 32 tokens/s con Llama 2 7B a 4 bits en llama.cpp (M5 (10-core GPU)).

Va bien Cabe con espacio para el contexto, a 10 tokens por segundo o más.

Gemma 4 E4BGoogle DeepMind · 2026-03 · contexto de 128K · imágenesInteligencia 8,9Ficha del modelo Versión MLX8B8 bits8,5 GB Cabe14–26 tok/s

Qwen3.5 4BQwen (Alibaba) · 2026-02 · contexto de 256K · imágenesFicha del modelo Versión MLX4B8 bits4,3 GB Cabe16–28 tok/s

Llama 3.2 3B InstructMeta · 2024-09 · contexto de 128KFicha del modelo Versión MLX3,21B8 bits3,4 GB Cabe20–36 tok/s

SmolLM3 3BHugging Face · 2025-07 · contexto de 64KFicha del modelo Versión MLX3B8 bits3,2 GB Cabe22–38 tok/s

Qwen3.5 0.8BQwen (Alibaba) · 2026-02 · contexto de 256K · imágenesFicha del modelo Versión MLX0,8B8 bits0,9 GB Cabe77–136 tok/s

Nemotron 3.5 Lightning 30B A3BNVIDIA · 2026-08 · contexto de 256KInteligencia 12,9Ficha del modelo Versión MLX30B · 3B activos2 bits menor calidad9,4 GB Cabe77–136 tok/s

gpt-oss-20bOpenAI · 2025-08 · contexto de 128KInteligencia 9Ficha del modelo Versión MLX21B · 3,6B activos3 bits menor calidad9,2 GB Cabe43–77 tok/s

Se publica en un formato nativo de pocos bits: unos 14 GB de pesos.

Qwen3 Coder 30B A3B InstructQwen (Alibaba) · 2025-07 · contexto de 256KFicha del modelo Versión MLX30,5B · 3,3B activos2 bits menor calidad9,5 GB Cabe69–122 tok/s

GLM-4.7 FlashZ.ai (Zhipu) · 2026-01 · contexto de 198KFicha del modelo Versión MLX30B · 3B activos2 bits menor calidad9,4 GB Cabe77–136 tok/s

Gemma 4 26B A4BGoogle DeepMind · 2026-03 · contexto de 256K · imágenesFicha del modelo Versión MLX25,2B · 3,8B activos2 bits menor calidad7,9 GB Cabe57–102 tok/s

LFM2.5 24B A2BLiquid AI · 2026-10 · contexto de 128KFicha del modelo Versión MLX24B · 2B activos3 bits menor calidad10,5 GB Cabe77–136 tok/s

Funciona, pero lento Cabe, pero a menos de 10 tokens por segundo: sirve para trabajos por lotes, pero es lento para chatear.

Qwen3.5 9BQwen (Alibaba) · 2026-02 · contexto de 256K · imágenesInteligencia 11,2Ficha del modelo Versión MLX9B8 bits9,6 GB Cabe7–13 tok/s

Granite 4.2 8BIBM · 2026-08 · contexto de 128KInteligencia 11,1Ficha del modelo8B8 bits8,5 GB Cabe8–14 tok/s

Phi-4 (14B)Microsoft · 2024-12 · contexto de 16KFicha del modelo Versión MLX14B4 bits7,9 GB Cabe9–15 tok/s

Gemma 4 12B UnifiedGoogle DeepMind · 2026-05 · contexto de 256K · imágenesFicha del modelo Versión MLX12B6 bits9,7 GB Cabe7–13 tok/s

Llama 3.1 8B InstructMeta · 2024-07 · contexto de 128KFicha del modelo Versión MLX8B8 bits8,5 GB Cabe8–14 tok/s

Qwen3.8 27BQwen (Alibaba) · 2026-08 · contexto de 256K · imágenesInteligencia 33,7Ficha del modelo Versión MLX27B2 bits menor calidad8,4 GB Cabe8–15 tok/s

Muse Glimmer 30BMeta (Meta Superintelligence Lab) · 2026-08 · contexto de 128K · imágenesInteligencia 17,5Ficha del modelo Versión MLX29,6B2 bits menor calidad9,3 GB Cabe7–13 tok/s

Gemma 4 31BGoogle DeepMind · 2026-03 · contexto de 256K · imágenesInteligencia 14,7Ficha del modelo Versión MLX30,7B2 bits menor calidad9,6 GB Cabe7–13 tok/s

Devstral Small 2 (24B)Mistral AI · 2025-11 · contexto de 256K · imágenesFicha del modelo Versión MLX24B3 bits menor calidad10,5 GB Cabe7–12 tok/s

Cabe muy justo Necesita casi toda la memoria: sube el límite de memoria de la GPU y usa un contexto corto.

Qwen3.6 35B A3BQwen (Alibaba) · 2026-04 · contexto de 256K · imágenesInteligencia 18,2Ficha del modelo Versión MLX35B · 3B activos2 bits menor calidad10,9 GB Muy justo77–136 tok/s

Inteligencia: Artificial Analysis Intelligence Index v4.3.2, donde está medido. Los nombres de los modelos enlazan a sus fichas oficiales.

Cómo se calcula

Memoria. Cada modelo se muestra con la mayor precisión que cabe: 8, 6, 4, 3 o 2 bits por peso, más las escalas por grupo de MLX (medio bit por peso), o en su formato nativo cuando se publica así. En un Mac, la GPU puede usar alrededor del 75 % de la memoria unificada de forma predeterminada; encima dejamos espacio para el contexto.

Velocidad. Al escribir, cada token lee una vez todos los pesos activos, así que el ancho de banda de memoria dividido entre esos bytes es el techo para una conversación. En los benchmarks públicos de Apple Silicon de llama.cpp, las ejecuciones reales alcanzan entre el 45 % y el 80 % de ese techo, que es el rango que se muestra. Leer un prompt largo depende en cambio de la potencia de cálculo y no se muestra.

Fuentes. Los parámetros, el contexto y las licencias vienen de la ficha oficial de cada modelo en Hugging Face (enlazada desde su nombre); la memoria y el ancho de banda, de las especificaciones de Apple y de cada fabricante. Revisado el 2026-10-19. Mide tu propio Mac en MLX Bench. Todos los Mac, todos los modelos y la tabla completa de compatibilidad se pueden descargar gratis en JSON y CSV: datos abiertos.

Explora. Todos los Mac, desde un M1 de 8 GB hasta un M5 Ultra de 512 GB, con todos los modelos que ejecutan, y todos los modelos con el Mac más pequeño que necesitan.

Pruébalos. Paso a paso: descargar y ejecutar LLM en un Mac, MLX vs. Ollama vs. llama.cpp y el mejor Mac para LLM locales. Mientras tu Mac está inactivo, puede ganar MLX Tokens.

¿Cómo sé si un LLM funcionará en mi Mac?: Compara el tamaño del modelo con la precisión que quieras con la memoria unificada de tu Mac. De forma predeterminada, macOS deja que la GPU use alrededor del 75 % de ella, y el modelo también necesita espacio para su contexto. Un modelo de 4 bits necesita algo más de medio gigabyte por cada mil millones de parámetros.
¿Cuántos tokens por segundo voy a obtener?: La escritura está limitada por el ancho de banda de memoria: cada token lee una vez los pesos activos del modelo. El ancho de banda dividido entre los bytes leídos por token es el techo para una conversación; en la práctica se suele llegar a entre el 45 % y el 80 %.
¿Por qué los modelos de mezcla de expertos (MoE) van más rápido?: Guardan muchos expertos en memoria, pero usan solo unos pocos para cada token, así que cada token lee muchos menos bytes. Necesitan memoria para el modelo entero, pero corren a la velocidad de uno mucho más pequeño.
¿Basta con 4 bits?: En la mayoría de los modelos, 4 bits mantiene una calidad cercana a la original. Por debajo de 4 bits la calidad cae más rápido, por eso las versiones de menos de 4 bits van marcadas.