¿Puede el M3 Max ejecutar un modelo de 70B?

Sí. Un modelo de 70B a 4 bits necesita unos 40 GB, y el M3 Max tiene hasta 128 GB. Espera un techo de unos 10 tokens por segundo para un chat.

¿Cuántos tokens por segundo da el M3 Max?

Con un modelo de 8B a 4 bits, el techo es de unos 89 tokens por segundo, y en la práctica se alcanza entre la mitad y cuatro quintos. Los modelos más grandes son proporcionalmente más lentos.

¿Es bueno el M3 Max para IA?

Para ejecutar modelos en local, lo que más importa es la memoria y el ancho de banda. El M3 Max tiene hasta 128 GB a 400 GB/s, suficiente para modelos de hasta unos 170 mil millones de parámetros. Además puede ganar ejecutando trabajos de IA para MLX Network con MLX Node.

M3 Max para LLM locales: memoria, velocidad y qué cabe

1Las especificaciones que importan para la IA

Memoria unificada	128 GB
Ancho de banda de memoria	400 GB/s, o 300 GB/s en la configuración inferior
Está en	14- and 16-inch MacBook Pro (2023)
Plaza dedicada para él	Plaza Pro: mina hasta 80 MLX al día

2Qué modelos caben

A 4 bits por peso, un modelo necesita algo más de medio gigabyte por cada mil millones de parámetros, más espacio para su contexto y para macOS. Con 128 GB, el M3 Max aloja con holgura modelos de hasta unos 170 mil millones de parámetros.

Modelo a 4 bits	Memoria necesaria	Cabe en el M3 Max
Modelo de 8B	4,5 GB	Sí
Modelo de 14B	7,9 GB	Sí
Modelo de 32B	18 GB	Sí
Modelo de 70B	39,4 GB	Sí
gpt-oss-120b, mezcla de expertos	65 GB	Sí
Qwen3.5-397B-A17B, mezcla de expertos	223,3 GB	No
DeepSeek-V4.1-Flash, mezcla de expertos	316 GB	No

3Qué velocidad alcanza

Al escribir texto, el límite es el ancho de banda de memoria: cada token nuevo lee una vez los pesos activos del modelo. Al dividir los 400 GB/s del M3 Max entre los bytes leídos por token se obtiene el techo de abajo. En la práctica se suele llegar a entre el 45% y el 80% de ese techo (benchmarks de llama.cpp).

Modelo a 4 bits	Lectura por token	Techo para un chat
Modelo de 8B	4,5 GB	89 tokens/s
Modelo de 14B	7,9 GB	51 tokens/s
Modelo de 32B	18 GB	22 tokens/s
Modelo de 70B	39,4 GB	10 tokens/s
gpt-oss-120b, mezcla de expertos	2,7 GB	148 tokens/s

5Compara con otros chips

6Preguntas

¿Puede el M3 Max ejecutar un modelo de 70B?: Sí. Un modelo de 70B a 4 bits necesita unos 40 GB, y el M3 Max tiene hasta 128 GB. Espera un techo de unos 10 tokens por segundo para un chat.
¿Cuántos tokens por segundo da el M3 Max?: Con un modelo de 8B a 4 bits, el techo es de unos 89 tokens por segundo, y en la práctica se alcanza entre la mitad y cuatro quintos. Los modelos más grandes son proporcionalmente más lentos.
¿Es bueno el M3 Max para IA?: Para ejecutar modelos en local, lo que más importa es la memoria y el ancho de banda. El M3 Max tiene hasta 128 GB a 400 GB/s, suficiente para modelos de hasta unos 170 mil millones de parámetros. Además puede ganar ejecutando trabajos de IA para MLX Network con MLX Node.

Fuentes

Apple: M3, M3 Pro and M3 Maxapple.com
Apple: MacBook Pro (M3 Pro or M3 Max) specssupport.apple.com