Cluster za AI za Mac.

1Kilichobadilika: RDMA kupitia Thunderbolt 5

Tangu macOS 26.2, Mac zinaweza kubadilishana kumbukumbu moja kwa moja kupitia Thunderbolt 5 kwa kutumia RDMA, kipengele ambacho Apple inakitaja kwa ajili ya inference ya AI iliyosambazwa kwa MLX (Apple). MLX hukitoa kupitia backend yake ya JACCL, pamoja na MPI na TCP rings (MLX docs).

Faida ni latency: kwa mujibu wa watengenezaji wa MLX, RDMA hupunguza latency ya kufikia kumbukumbu kutoka takriban µs 300 hadi chini ya µs 50. Katika majaribio ya Jeff Geerling, Mac Studio nne za M3 Ultra ziliendesha Kimi K2 Thinking yenye vigezo trilioni 1 kwa takriban tokeni 30 kwa sekunde (Jeff Geerling).

2Njia mbili za kugawanya modeli

Pipeline parallelism huipa kila Mac mfululizo wa tabaka (layers) zinazofuatana. Huwezesha modeli kubwa kuliko Mac yoyote moja kuendeshwa kabisa, na prompts ndefu zinaweza kuchakatwa kwa vipande sambamba, lakini uzalishaji una kasi karibu sawa na kwenye Mac moja.

Tensor parallelism hugawanya kila tabaka kati ya Mac. Huongeza kasi ya uzalishaji pia, lakini Mac hubadilishana data mara nyingi kwa kila tokeni, hivyo inahitaji latency ndogo ya RDMA. Apple imechapisha vipimo vya zote mbili kwenye cluster za Mac Studio (Apple Machine Learning Research), na inasema kwamba Mac Studio nne huendesha inference hadi mara tatu haraka zaidi kuliko moja (Apple).

3Kujenga cluster

1. Chagua Mac zenye Thunderbolt 5 kwa RDMA: M4 Pro, M4 Max, M3 Ultra na chipu za baadaye za Pro, Max na Ultra. Mac zinazofanana hufanya ugawaji kuwa rahisi zaidi.
2. Ziunganishe kwa nyaya za Thunderbolt 5, kila jozi moja kwa moja. Nyaya mbili kati ya jozi huongeza maradufu bandwidth ya kiungo.
3. Sasisha kila Mac hadi macOS 26.2 au mpya zaidi na uwashe RDMA kama nyaraka za Apple zinavyoeleza.
4. Endesha modeli kwa MLX distributed (mlx.launch) au kwa exo, inayogundua Mac na kukugawanyia modeli.

exo inaripoti ongezeko la kasi la tensor-parallel la hadi mara 1.8 kwenye vifaa viwili na mara 3.2 kwenye vinne. Pima mpangilio wako mwenyewe: faida hutegemea sana modeli.

4Kutoka cluster hadi mtandao

Cluster huunganisha Mac chache juu ya meza moja kwa nyaya. MLX Network huunganisha Mac kila mahali kupitia intaneti. Kwa sababu latency ya intaneti ni kubwa mno kugawanya modeli moja kwenye Mac za watu wasiojuana, mtandao huweka kila kazi nzima kwenye Mac moja, au kwenye pod ya Mac ambazo tayari zimeunganishwa kwa nyaya, kulingana na kumbukumbu na bandwidth.

Ikiwa unamiliki Mac Studio au rundo la Mac mini, MLX Node inaweza kuazima muda wao wa ziada kwa mtandao na kupata tokeni za MLX, na kiti maalum cha Ultra kinachoendeshwa kwenye Mac ya Ultra hupata zaidi. Tazama kila Mac kwenye mtandao katika MLX World.

5Maswali

Je, ninaweza kuunganisha Mac mini kuwa cluster kwa AI?

Ndiyo. Mac mini zenye chipu ya M4 Pro au M5 Pro zina Thunderbolt 5, na kwa macOS 26.2 au mpya zaidi zinaweza kutumia RDMA; modeli za M4 na M6 zina Thunderbolt 4. MLX distributed na exo zote hugawanya modeli kati yao.

Je, cluster ya Mac hufanya modeli iwe na kasi zaidi?

Inategemea jinsi modeli inavyogawanywa. Pipeline parallelism hasa huwezesha modeli kubwa zaidi kuendeshwa; tensor parallelism kupitia RDMA pia huongeza kasi ya uzalishaji. Apple inasema hadi mara tatu haraka zaidi kwenye Mac Studio nne.

Je, ninahitaji Thunderbolt 5?

Kwa RDMA, ndiyo. Mac za zamani bado zinaweza kuunganishwa kupitia Thunderbolt au Ethernet kwa TCP, lakini latency ni kubwa zaidi sana, hivyo ugawaji wa pipeline hufanya kazi vizuri kuliko ugawaji wa tensor.