¿Cuál es el mejor LLM para un M3 con 24 GB?

De los modelos con un Intelligence Index publicado, MiniCPM5 2B obtiene la puntuación más alta entre los que van bien aquí: 8 bits, unos 17–30 tokens por segundo. El más grande que va bien es Gemma 4 26B A4B.

¿Puede un M3 con 24 GB ejecutar Llama 3.3 70B?

No: incluso a 2 bits necesita más que los 18 GB que la GPU puede usar de forma predeterminada.

¿Qué tan rápido va gpt-oss-20b en un M3?

Unos 24–42 tokens por segundo (4,25 bits nativo), según los 100 GB/s de ancho de banda de memoria del chip.

¿Qué LLM ejecuta un M3 con 24 GB? Modelos y velocidad

Va bien 25

Cabe con espacio para el contexto, a 10 tokens por segundo o más.

Modelo	Versión	Memoria	Tokens/s
MiniCPM5 2B2,52B · Inteligencia 12,5	8 bits	2,7 GB	17–30
Granite 4.2 8B8B · Inteligencia 11,1	4 bits	4,5 GB	10–18
Granite 4.2 3B3B · Inteligencia 9,1	8 bits	3,2 GB	14–25
gpt-oss-20b21B · 3,6B activos · Inteligencia 9	4,25 bits nativo	13,8 GB	24–42
Gemma 4 E4B8B · Inteligencia 8,9	6 bits	6,5 GB	12–22
Nemotron 3 Nano 4B3,97B · Inteligencia 4,8	8 bits	4,2 GB	11–19
Gemma 4 26B A4B25,2B · 3,8B activos	4 bits	14,2 GB	21–38
LFM2.5 24B A2B24B · 2B activos	4 bits	13,5 GB	41–73
Qwen3 8B8,2B	4 bits	4,6 GB	10–17
Llama 3.1 8B Instruct8B	4 bits	4,5 GB	10–18
Gemma 4 E2B5,1B	8 bits	5,4 GB	19–33
Qwen3.5 4B4B	8 bits	4,3 GB	10–19
Phi-4 mini instruct3,8B	8 bits	4 GB	11–20
Llama 3.2 3B Instruct3,21B	8 bits	3,4 GB	13–24
SmolLM3 3B3B	8 bits	3,2 GB	14–25
LFM2.5 2.6B2,69B	8 bits	2,9 GB	16–28
Qwen3.5 2B2B	8 bits	2,1 GB	21–38
Llama 3.2 1B Instruct1,23B	8 bits	1,3 GB	35–62
Qwen3.5 0.8B0,8B	8 bits	0,9 GB	50–89
Qwen3 0.6B0,6B	8 bits	0,6 GB	75–133
Qwen3.6 35B A3B35B · 3B activos · Inteligencia 18,2	3 bits menor calidad	15,3 GB	35–62
Nemotron 3.5 Lightning 30B A3B30B · 3B activos · Inteligencia 12,9	3 bits menor calidad	13,1 GB	35–62
Nemotron 3 Nano 30B A3B30B · 3,5B activos · Inteligencia 8,9	3 bits menor calidad	13,1 GB	30–53
Qwen3 Coder 30B A3B Instruct30,5B · 3,3B activos	3 bits menor calidad	13,3 GB	32–57
GLM-4.7 Flash30B · 3B activos	3 bits menor calidad	13,1 GB	35–62

Funciona, pero lento 13

Cabe, pero a menos de 10 tokens por segundo: sirve para trabajos por lotes, pero es lento para chatear.

Modelo	Versión	Memoria	Tokens/s
Qwen3.8 27B27B · Inteligencia 33,7	4 bits	15,2 GB	3–5
Qwen3.5 9B9B · Inteligencia 11,2	8 bits	9,6 GB	5–8
Ministral 3 8B8,9B · Inteligencia 5,5	8 bits	9,5 GB	5–8
Qwen3.6 27B27B	4 bits	15,2 GB	3–5
Devstral Small 2 (24B)24B	4 bits	13,5 GB	3–6
Magistral Small 1.2 (2509)24B	4 bits	13,5 GB	3–6
Mistral Small 3.2 (24B)24B	4 bits	13,5 GB	3–6
Phi-4 Reasoning Vision 15B15B	8 bits	15,9 GB	3–5
Phi-4 (14B)14B	8 bits	14,9 GB	3–5
Gemma 4 12B Unified12B	8 bits	12,7 GB	4–6
Muse Glimmer 30B29,6B · Inteligencia 17,5	3 bits menor calidad	13 GB	3–6
Gemma 4 31B30,7B · Inteligencia 14,7	3 bits menor calidad	13,4 GB	3–6
Granite 4.2 30B30B · Inteligencia 12,7	3 bits menor calidad	13,1 GB	3–6

Otras Mac

Todas las Mac con 24 GB, con cualquier chip.

El M3 con más o menos memoria:

Chips vecinos:

Cara a cara:

Compáralo con cualquier Mac o GPU · El M3 para IA local · La mejor Mac para LLM en local · Todas las Mac

Preguntas

¿Cuál es el mejor LLM para un M3 con 24 GB?: De los modelos con un Intelligence Index publicado, MiniCPM5 2B obtiene la puntuación más alta entre los que van bien aquí: 8 bits, unos 17–30 tokens por segundo. El más grande que va bien es Gemma 4 26B A4B.
¿Puede un M3 con 24 GB ejecutar Llama 3.3 70B?: No: incluso a 2 bits necesita más que los 18 GB que la GPU puede usar de forma predeterminada.
¿Qué tan rápido va gpt-oss-20b en un M3?: Unos 24–42 tokens por segundo (4,25 bits nativo), según los 100 GB/s de ancho de banda de memoria del chip.

Ejecútalos con MLX Harness (gratis, de código abierto) o con mlx-lm de Apple en Terminal: paso a paso.

Cómo se calcula

Memoria: los parámetros del modelo a 8, 6, 4, 3 o 2 bits por peso más las escalas por grupo de MLX (medio bit por peso), o su formato nativo, con espacio extra para el contexto. De forma predeterminada, macOS deja que la GPU use alrededor del 75 % de la memoria unificada. Velocidad: el ancho de banda de memoria dividido entre los bytes leídos por token es el techo para una conversación; en los benchmarks públicos de Apple Silicon de llama.cpp, las ejecuciones reales alcanzan entre el 45 % y el 80 % de ese techo, que es el rango que se muestra. Son estimaciones, no mediciones: mide tu propia Mac en MLX Bench. Datos de los modelos tomados de cada ficha oficial; datos de los chips, de las especificaciones técnicas de Apple. Revisado el 2026-10-19. Los mismos datos que mlx.app/compare.

¿Qué puede ejecutar un M3 con 24 GB?