Clusters de IA com Mac.

1O que mudou: RDMA via Thunderbolt 5

Desde o macOS 26.2, Macs podem trocar memória diretamente via Thunderbolt 5 usando RDMA, um recurso que a Apple cita para inferência de IA distribuída com MLX (Apple). O MLX o oferece pelo backend JACCL, ao lado de MPI e anéis TCP (documentação do MLX).

O ganho está na latência: segundo os desenvolvedores do MLX, o RDMA reduz a latência de acesso à memória de cerca de 300 µs para menos de 50 µs. Nos testes de Jeff Geerling, quatro Mac Studios com M3 Ultra rodaram o Kimi K2 Thinking, de 1 trilhão de parâmetros, a cerca de 30 tokens por segundo (Jeff Geerling).

2Duas formas de dividir um modelo

O paralelismo de pipeline dá a cada Mac uma sequência de camadas consecutivas. Ele permite rodar um modelo maior do que qualquer Mac sozinho, e prompts longos podem ser processados em blocos paralelos, mas a geração fica mais ou menos tão rápida quanto em um único Mac.

O paralelismo de tensores divide cada camada entre os Macs. Ele também acelera a geração, mas os Macs trocam dados muitas vezes por token, então precisa da baixa latência do RDMA. A Apple publicou medições dos dois em clusters de Mac Studio (Apple Machine Learning Research) e afirma que quatro Mac Studios fazem inferência até três vezes mais rápido que um (Apple).

3Montando um cluster

1. Escolha Macs com Thunderbolt 5 para usar RDMA: M4 Pro, M4 Max, M3 Ultra e os chips Pro, Max e Ultra posteriores. Macs iguais deixam a divisão mais simples.
2. Conecte-os com cabos Thunderbolt 5, cada par diretamente. Dois cabos entre um mesmo par dobram a largura de banda da conexão.
3. Atualize todos os Macs para o macOS 26.2 ou posterior e ative o RDMA como descreve a documentação da Apple.
4. Rode o modelo com o MLX distribuído (mlx.launch) ou com o exo, que encontra os Macs e divide o modelo para você.

O exo relata ganhos com paralelismo de tensores de até 1,8 vez em dois dispositivos e 3,2 vezes em quatro. Meça a sua configuração: os ganhos dependem muito do modelo.

4De um cluster para uma rede

Um cluster junta alguns Macs em uma mesa, com cabos. A MLX Network junta Macs de todo lugar pela internet. Como a latência da internet é alta demais para dividir um modelo entre Macs de desconhecidos, a rede coloca cada tarefa inteira em um único Mac, ou em um pod de Macs já ligados por cabo, de acordo com memória e largura de banda.

Se você tem um Mac Studio ou uma pilha de Mac minis, o MLX Node pode emprestar o tempo ocioso deles à rede e ganhar tokens MLX, e uma vaga dedicada Ultra rodando em um Mac Ultra é a que mais ganha. Veja todos os Macs da rede no MLX World.

5Perguntas

Dá para fazer um cluster de Mac minis para IA?

Sim. Mac minis com chip M4 Pro ou M5 Pro têm Thunderbolt 5 e, com o macOS 26.2 ou posterior, podem usar RDMA; os modelos com M4 e M6 têm Thunderbolt 4. Tanto o MLX distribuído quanto o exo dividem um modelo entre eles.

Um cluster de Macs deixa o modelo mais rápido?

Depende de como o modelo é dividido. O paralelismo de pipeline serve principalmente para rodar modelos maiores; o paralelismo de tensores via RDMA também acelera a geração. A Apple afirma até três vezes mais velocidade com quatro Mac Studios.

Preciso de Thunderbolt 5?

Para RDMA, sim. Macs mais antigos ainda podem ser unidos via Thunderbolt ou Ethernet com TCP, mas a latência é bem maior, então a divisão por pipeline funciona melhor que a por tensores.