La mejor Mac para LLM en local.

1Por qué la memoria y el ancho de banda lo deciden todo

Un modelo de lenguaje escribe un token a la vez, y para cada uno lee de la memoria todos los pesos activos. Así que el límite de velocidad de una sola conversación es, más o menos, el ancho de banda de memoria dividido entre el tamaño de los pesos activos. En los benchmarks públicos de llama.cpp, la generación real alcanza entre el 43 % y el 80 % de ese límite en los chips de Apple (llama.cpp).

Leer tu prompt es distinto: esa parte está limitada por el cómputo, y por eso los chips de la generación M5, con aceleradores neuronales en la GPU, procesan los prompts varias veces más rápido que los anteriores (Apple).

2Todos los chips, comparados

Los chips más antiguos siguen funcionando bien si tienen la memoria. Un M1 Max o M2 Max con 64 GB lee a 400 GB/s, más que cualquier chip base actual, y de segunda mano suele costar mucho menos.

3Qué Mac comprar

Solo para probar: MacBook Air o Mac mini con 16 a 32 GB

Ejecuta con soltura modelos de 7B a 14B, y modelos de la clase de 30B con 32 GB. Suficiente para chatear, escribir y una ayuda ligera con el código.

La mejor relación calidad-precio: chip Pro con 64 GB

Una Mac mini o MacBook Pro con M4 Pro o M5 Pro admite modelos de la clase de 70B y ejecuta modelos medianos a buen ritmo. El punto ideal para la mayoría de los desarrolladores.

IA local en serio: chip Max con 128 GB

Ejecuta gpt-oss-120b (unos 65 GB a 4 bits) en un portátil; según la cifra de ancho de banda de Apple, el techo teórico para un solo flujo en el M5 Max es de unos 225 tokens por segundo. La mejor opción portátil.

Los modelos más grandes: Mac Studio con Ultra

Hasta 512 GB a 1,2 TB/s con el M5 Ultra: caben modelos de cientos de miles de millones de parámetros en un solo escritorio. Para modelos aún más grandes, las Mac se pueden unir en un clúster por Thunderbolt 5: consulta clústeres de IA con Mac.

4Que tu Mac aporte su parte

Una Mac comprada para IA pasa la mayor parte del tiempo esperando. MLX Node es una app gratuita que presta esa capacidad libre a MLX Network: ejecuta trabajos de IA con el mismo framework MLX y gana tokens MLX por el trabajo verificado. Una plaza dedicada a la medida del chip multiplica lo que gana: una plaza Pro funciona a pleno rendimiento en un chip Pro o Max, y una plaza Ultra en un chip Ultra.

Compara antes tu Mac en MLX Bench: muestra los tokens por segundo medidos con modelos abiertos en cada chip.

5Preguntas

¿16 GB bastan para un LLM en local?

Sí, para modelos de hasta unos 14B parámetros a 4 bits. Para modelos más grandes, o contextos largos, 32 GB o más es mucho más cómodo.

¿Mac Studio o MacBook Pro para LLM?

Ambas vienen con chips Max y hasta 128 GB. La MacBook Pro es portátil; la Mac Studio se mantiene más fresca con cargas largas y es la única Mac con chips Ultra y hasta 512 GB.

¿Es mejor una Mac que una GPU Nvidia para IA local?

Para los modelos más grandes en casa, a menudo sí: la memoria unificada de una Mac puede contener mucho más que la memoria de una tarjeta gráfica de consumo. Una tarjeta Nvidia de gama alta es más rápida con los modelos que caben en su memoria.

¿El M5 hace más rápidos los LLM?

Sí, sobre todo al leer los prompts: Apple midió que el primer token llega entre 3,3 y 4,1 veces antes en el M5 que en el M4 con MLX. La velocidad de generación crece con el ancho de banda de memoria, que subió un 28 % del M4 al M5.