Clústeres de IA con Mac.

1Qué cambió: RDMA por Thunderbolt 5

Desde macOS 26.2, las Mac pueden intercambiar memoria directamente por Thunderbolt 5 mediante RDMA, una función que Apple menciona para la inferencia de IA distribuida con MLX (Apple). MLX la ofrece a través de su backend JACCL, junto a MPI y los anillos TCP (documentación de MLX).

La ganancia está en la latencia: según los desarrolladores de MLX, RDMA reduce la latencia de acceso a memoria de unos 300 µs a menos de 50 µs. En las pruebas de Jeff Geerling, cuatro Mac Studio con M3 Ultra ejecutaron Kimi K2 Thinking, de 1 billón de parámetros, a unos 30 tokens por segundo (Jeff Geerling).

2Dos formas de repartir un modelo

El paralelismo de pipeline asigna a cada Mac una serie de capas consecutivas. Permite ejecutar un modelo más grande que cualquier Mac por separado, y los prompts largos se pueden procesar en bloques en paralelo, pero la generación es más o menos igual de rápida que en una sola Mac.

El paralelismo de tensores reparte cada capa entre las Mac. También acelera la generación, pero las Mac intercambian datos muchas veces por token, así que necesita la baja latencia de RDMA. Apple ha publicado mediciones de ambos en clústeres de Mac Studio (Apple Machine Learning Research) y afirma que cuatro Mac Studio ejecutan la inferencia hasta tres veces más rápido que una (Apple).

3Montar un clúster

1. Elige Mac con Thunderbolt 5 para RDMA: M4 Pro, M4 Max, M3 Ultra y los chips Pro, Max y Ultra posteriores. Con Mac iguales, el reparto es más sencillo.
2. Conéctalas con cables Thunderbolt 5, cada par directamente. Dos cables entre un mismo par duplican el ancho de banda del enlace.
3. Actualiza todas las Mac a macOS 26.2 o posterior y activa RDMA como indica la documentación de Apple.
4. Ejecuta el modelo con MLX distribuido (mlx.launch) o con exo, que detecta las Mac y reparte el modelo por ti.

exo reporta mejoras con paralelismo de tensores de hasta 1,8 veces con dos dispositivos y 3,2 veces con cuatro. Mide tu propia configuración: las ganancias dependen mucho del modelo.

4De un clúster a una red

Un clúster une unas pocas Mac en un escritorio con cables. MLX Network une Mac de todo el mundo por internet. Como la latencia de internet es demasiado alta para repartir un modelo entre las Mac de desconocidos, la red asigna cada trabajo completo a una sola Mac, o a un pod de Mac que ya están conectadas por cable, según la memoria y el ancho de banda.

Si tienes una Mac Studio o varias Mac mini, MLX Node puede prestar su tiempo libre a la red y ganar tokens MLX, y una plaza dedicada Ultra que funciona en una Mac Ultra es la que más gana. Mira todas las Mac de la red en MLX World.

5Preguntas

¿Puedo hacer un clúster de Mac mini para IA?

Sí. Las Mac mini con chip M4 Pro o M5 Pro tienen Thunderbolt 5 y, con macOS 26.2 o posterior, pueden usar RDMA; los modelos con M4 y M6 tienen Thunderbolt 4. Tanto MLX distribuido como exo reparten un modelo entre ellas.

¿Un clúster de Mac hace más rápido un modelo?

Depende de cómo se reparta el modelo. El paralelismo de pipeline sobre todo permite ejecutar modelos más grandes; el paralelismo de tensores con RDMA también acelera la generación. Apple afirma que es hasta tres veces más rápido con cuatro Mac Studio.

¿Necesito Thunderbolt 5?

Para RDMA, sí. Las Mac más antiguas también se pueden unir por Thunderbolt o Ethernet con TCP, pero la latencia es mucho mayor, así que el reparto por pipeline funciona mejor que el de tensores.