Cluster AI di Mac.

1Cosa è cambiato: RDMA su Thunderbolt 5

Da macOS 26.2, i Mac possono scambiarsi memoria direttamente tramite Thunderbolt 5 usando l'RDMA, una funzione che Apple indica per l'inferenza di AI distribuita con MLX (Apple). MLX la espone tramite il suo backend JACCL, accanto a MPI e agli anelli TCP (documentazione MLX).

Il vantaggio è la latenza: secondo gli sviluppatori di MLX, l'RDMA riduce la latenza di accesso alla memoria da circa 300 µs a meno di 50 µs. Nei test di Jeff Geerling, quattro Mac Studio M3 Ultra hanno eseguito Kimi K2 Thinking, da mille miliardi di parametri, a circa 30 token al secondo (Jeff Geerling).

2Due modi per dividere un modello

Il parallelismo a pipeline assegna a ogni Mac una serie di layer consecutivi. Permette di eseguire un modello più grande di qualsiasi singolo Mac, e i prompt lunghi possono essere elaborati in blocchi paralleli, ma la generazione è veloce più o meno come su un solo Mac.

Il parallelismo tensoriale divide ogni layer tra i Mac. Accelera anche la generazione, ma i Mac si scambiano dati molte volte per token, quindi serve la bassa latenza dell'RDMA. Apple ha pubblicato misurazioni di entrambi su cluster di Mac Studio (Apple Machine Learning Research) e afferma che quattro Mac Studio eseguono l'inferenza fino a tre volte più velocemente di uno (Apple).

3Costruire un cluster

1. Scegli Mac con Thunderbolt 5 per l'RDMA: M4 Pro, M4 Max, M3 Ultra e i chip Pro, Max e Ultra successivi. Mac uguali rendono la divisione più semplice.
2. Collegali con cavi Thunderbolt 5, ogni coppia direttamente. Due cavi tra la stessa coppia raddoppiano la larghezza di banda del collegamento.
3. Aggiorna ogni Mac a macOS 26.2 o successivo e attiva l'RDMA come descritto nella documentazione di Apple.
4. Esegui il modello con MLX distribuito (mlx.launch) o con exo, che rileva i Mac e divide il modello al posto tuo.

exo riporta accelerazioni con parallelismo tensoriale fino a 1,8 volte su due dispositivi e 3,2 volte su quattro. Misura la tua configurazione: i guadagni dipendono molto dal modello.

4Da un cluster a una rete

Un cluster collega pochi Mac su una scrivania con dei cavi. MLX Network collega Mac ovunque tramite internet. Poiché la latenza di internet è troppo alta per dividere un modello tra i Mac di sconosciuti, la rete assegna ogni job per intero a un solo Mac, o a un pod di Mac già collegati via cavo, in base a memoria e larghezza di banda.

Se hai un Mac Studio o una pila di Mac mini, MLX Node può prestare il loro tempo libero alla rete e guadagnare token MLX, e un posto dedicato Ultra su un Mac Ultra è quello che guadagna di più. Guarda tutti i Mac della rete su MLX World.

5Domande

Posso creare un cluster di Mac mini per l'AI?

Sì. I Mac mini con chip M4 Pro o M5 Pro hanno Thunderbolt 5 e, con macOS 26.2 o successivo, possono usare l'RDMA; i modelli con M4 e M6 hanno Thunderbolt 4. MLX distribuito ed exo dividono entrambi un modello tra di essi.

Un cluster di Mac rende un modello più veloce?

Dipende da come viene diviso il modello. Il parallelismo a pipeline permette soprattutto di eseguire modelli più grandi; il parallelismo tensoriale via RDMA accelera anche la generazione. Apple dichiara una velocità fino a tre volte superiore con quattro Mac Studio.

Serve Thunderbolt 5?

Per l'RDMA, sì. I Mac più vecchi possono comunque essere collegati via Thunderbolt o Ethernet con TCP, ma la latenza è molto più alta, quindi la divisione a pipeline funziona meglio di quella tensoriale.