Mga Mac AI cluster.

1Ano ang nagbago: RDMA sa Thunderbolt 5

Mula macOS 26.2, direktang nakakapagpalitan ng memory ang mga Mac sa Thunderbolt 5 gamit ang RDMA, isang feature na tahasang iniuugnay ng Apple sa distributed AI inference gamit ang MLX (Apple). Inilalabas ito ng MLX sa pamamagitan ng JACCL backend nito, katabi ng MPI at TCP ring (MLX docs).

Ang pakinabang ay latency: ayon sa mga developer ng MLX, ibinababa ng RDMA ang memory-access latency mula mga 300 µs hanggang mas mababa sa 50 µs. Sa mga test ni Jeff Geerling, napatakbo ng apat na M3 Ultra Mac Studio ang Kimi K2 Thinking, na may 1 trilyong parameter, sa mga 30 token bawat segundo (Jeff Geerling).

2Dalawang paraan ng paghahati ng model

Sa pipeline parallelism, binibigyan ang bawat Mac ng sunud-sunod na hanay ng mga layer. Dahil dito, napapatakbo ang model na mas malaki kaysa sa kahit anong iisang Mac, at puwedeng iproseso nang sabay-sabay ang mahahabang prompt nang pira-piraso, pero halos kasimbilis lang ng iisang Mac ang generation.

Sa tensor parallelism, hinahati ang bawat layer sa mga Mac. Pinapabilis din nito ang generation, pero maraming beses nagpapalitan ng data ang mga Mac kada token, kaya kailangan nito ang mababang latency ng RDMA. Naglathala ang Apple ng mga sukat ng dalawa sa mga Mac Studio cluster (Apple Machine Learning Research), at sinasabi nitong hanggang tatlong beses na mas mabilis ang inference ng apat na Mac Studio kaysa sa isa (Apple).

3Pagbuo ng cluster

1. Pumili ng mga Mac na may Thunderbolt 5 para sa RDMA: M4 Pro, M4 Max, M3 Ultra at mas bagong Pro, Max at Ultra chip. Pinakasimple ang paghahati kapag magkakapareho ang mga Mac.
2. Pagdugtungin sila gamit ang Thunderbolt 5 cable, direkta ang bawat pares. Dodoble ang bandwidth ng link kapag dalawang cable ang nasa pagitan ng isang pares.
3. I-update ang bawat Mac sa macOS 26.2 o mas bago at i-enable ang RDMA ayon sa dokumentasyon ng Apple.
4. Patakbuhin ang model gamit ang MLX distributed (mlx.launch) o ang exo, na kusang hinahanap ang mga Mac at hinahati ang model para sa iyo.

Nag-uulat ang exo ng tensor-parallel speedup na hanggang 1.8 beses sa dalawang device at 3.2 beses sa apat. Sukatin ang sarili mong setup: malaki ang epekto ng model sa pakinabang.

4Mula cluster hanggang network

Pinagdudugtong ng cluster ang ilang Mac sa iisang mesa gamit ang mga cable. Pinagdudugtong naman ng MLX Network ang mga Mac saanman sa internet. Dahil masyadong mataas ang latency ng internet para hatiin ang iisang model sa mga Mac ng hindi magkakakilala, inilalagay ng network ang bawat job nang buo sa iisang Mac, o sa isang pod ng mga Mac na nakakabit na sa isa't isa, ayon sa memory at bandwidth.

Kung may Mac Studio ka o patong-patong na Mac mini, maipapahiram ng MLX Node ang bakanteng oras nila sa network at kikita ng MLX tokens, at ang Ultra dedicated seat na tumatakbo sa Ultra na Mac ang pinakamalaki ang kinikita. Tingnan ang bawat Mac sa network sa MLX World.

5Mga tanong

Puwede bang i-cluster ang mga Mac mini para sa AI?

Oo. May Thunderbolt 5 ang mga Mac mini na may M4 Pro o M5 Pro chip, at sa macOS 26.2 o mas bago, magagamit nila ang RDMA; Thunderbolt 4 naman ang sa mga M4 at M6 na model. Parehong hinahati ng MLX distributed at exo ang model sa kanila.

Pinapabilis ba ng Mac cluster ang model?

Depende kung paano hinati ang model. Ang pipeline parallelism ay pangunahing nagpapatakbo ng mas malalaking model; pinapabilis din ng tensor parallelism sa RDMA ang generation. Sinasabi ng Apple na hanggang tatlong beses itong mas mabilis sa apat na Mac Studio.

Kailangan ko ba ng Thunderbolt 5?

Para sa RDMA, oo. Puwede pa ring pagdugtungin ang mas lumang Mac gamit ang Thunderbolt o Ethernet sa TCP, pero mas mataas nang husto ang latency, kaya mas gumagana ang pipeline split kaysa sa tensor split.