Mac AI-clusters.

1Wat er veranderde: RDMA via Thunderbolt 5

Sinds macOS 26.2 kunnen Macs via Thunderbolt 5 direct geheugen uitwisselen met RDMA, een functie die Apple noemt voor gedistribueerde AI-inferentie met MLX (Apple). MLX biedt die aan via zijn JACCL-backend, naast MPI en TCP-ringen (MLX-documentatie).

De winst zit in de latentie: volgens de ontwikkelaars van MLX verlaagt RDMA de latentie van geheugentoegang van zo'n 300 µs naar minder dan 50 µs. In de tests van Jeff Geerling draaiden vier Mac Studio's met M3 Ultra Kimi K2 Thinking, met 1 biljoen parameters, op zo'n 30 tokens per seconde (Jeff Geerling).

2Twee manieren om een model te verdelen

Pipeline-parallellisme geeft elke Mac een reeks opeenvolgende lagen. Zo kan een model dat groter is dan welke Mac ook überhaupt draaien, en lange prompts kunnen in parallelle stukken worden verwerkt, maar de generatie is ongeveer even snel als op één Mac.

Tensor-parallellisme verdeelt elke laag over de Macs. Dat versnelt ook de generatie, maar de Macs wisselen per token vele keren data uit, dus het heeft de lage latentie van RDMA nodig. Apple publiceerde metingen van beide op clusters van Mac Studio's (Apple Machine Learning Research) en stelt dat vier Mac Studio's inferentie tot drie keer sneller draaien dan één (Apple).

3Een cluster bouwen

1. Kies Macs met Thunderbolt 5 voor RDMA: M4 Pro, M4 Max, M3 Ultra en latere Pro-, Max- en Ultra-chips. Gelijke Macs maken de verdeling het eenvoudigst.
2. Verbind ze met Thunderbolt 5-kabels, elk paar rechtstreeks. Twee kabels tussen een paar verdubbelen de bandbreedte van de verbinding.
3. Werk elke Mac bij naar macOS 26.2 of nieuwer en zet RDMA aan zoals de documentatie van Apple beschrijft.
4. Draai het model met MLX distributed (mlx.launch) of met exo, dat de Macs vindt en het model voor je verdeelt.

exo meldt met tensor-parallellisme tot 1,8 keer zo snel op twee apparaten en 3,2 keer op vier. Meet je eigen opstelling: de winst hangt sterk af van het model.

4Van een cluster naar een netwerk

Een cluster verbindt een paar Macs op één bureau met kabels. MLX Network verbindt Macs overal via internet. Omdat de latentie van internet veel te hoog is om één model over de Macs van onbekenden te verdelen, plaatst het netwerk elke taak in zijn geheel op één Mac, of op een pod van Macs die al met kabels zijn verbonden, op basis van geheugen en bandbreedte.

Heb je een Mac Studio of een stapel Mac mini's, dan kan MLX Node hun vrije tijd uitlenen aan het netwerk en MLX-tokens verdienen, en een vaste Ultra-plek die op een Ultra-Mac draait verdient het meest. Zie elke Mac op het netwerk op MLX World.

5Vragen

Kan ik Mac mini's clusteren voor AI?

Ja. Mac mini's met een M4 Pro- of M5 Pro-chip hebben Thunderbolt 5 en kunnen met macOS 26.2 of nieuwer RDMA gebruiken; de modellen met M4 en M6 hebben Thunderbolt 4. MLX distributed en exo verdelen allebei een model over ze.

Maakt een Mac-cluster een model sneller?

Dat hangt af van hoe het model wordt verdeeld. Pipeline-parallellisme laat vooral grotere modellen draaien; tensor-parallellisme via RDMA versnelt ook de generatie. Apple noemt tot drie keer sneller met vier Mac Studio's.

Heb ik Thunderbolt 5 nodig?

Voor RDMA wel. Oudere Macs kun je nog steeds koppelen via Thunderbolt of Ethernet met TCP, maar de latentie is veel hoger, dus een pipeline-verdeling werkt dan beter dan een tensor-verdeling.