Mac AI 叢集。

1有什麼改變：透過 Thunderbolt 5 的 RDMA

從 macOS 26.2 起，Mac 可以使用 RDMA 透過 Thunderbolt 5 直接交換記憶體，Apple 明確將這項功能用於以 MLX 進行的分散式 AI 推論（Apple）。MLX 透過其 JACCL 後端提供這項能力，與 MPI 和 TCP 環並列（MLX 說明文件）。

好處在於延遲：據 MLX 的開發者表示，RDMA 能把記憶體存取延遲從約 300 µs 降到 50 µs 以下。在 Jeff Geerling 的測試中，四台 M3 Ultra Mac Studio 以每秒約 30 個 token 的速度執行了 1 兆參數的 Kimi K2 Thinking（Jeff Geerling）。

2拆分模型的兩種方式

管線平行讓每台 Mac 負責一段連續的層。它能讓比任何單台 Mac 還大的模型跑得起來，長提示詞也能分段平行處理，但產生速度和單台 Mac 差不多。

張量平行把每一層都拆分到多台 Mac 上。它也能加快產生速度，但每個 token 都要在 Mac 之間交換多次資料，因此需要 RDMA 的低延遲。Apple 發表了這兩種方式在 Mac Studio 叢集上的實測數據（Apple Machine Learning Research），並表示四台 Mac Studio 的推論速度最高可達單台的三倍（Apple）。

3建立叢集

1. 選擇支援 Thunderbolt 5 的 Mac 以使用 RDMA：M4 Pro、M4 Max、M3 Ultra，以及之後的 Pro、Max 和 Ultra 晶片。規格相同的 Mac 拆分起來最簡單。
2. 用 Thunderbolt 5 傳輸線連接，每兩台直接相連。同一對 Mac 之間接兩條線，連線頻寬加倍。
3. 把每台 Mac 更新到 macOS 26.2 或以上版本，並依照 Apple 說明文件啟用 RDMA。
4. 用 MLX 分散式（mlx.launch）或 exo 執行模型，exo 會自動找到各台 Mac 並替你拆分模型。

exo 回報的張量平行加速：兩台裝置最高 1.8 倍，四台最高 3.2 倍。請實測你自己的配置：提升幅度很大程度取決於模型。

4從叢集到網路

叢集是用傳輸線把一張桌上的幾台 Mac 串起來。MLX Network 則透過網際網路把世界各地的 Mac 串起來。由於網際網路延遲太高，無法把一個模型拆分到陌生人的 Mac 上，因此網路會依記憶體和頻寬，把每項工作完整地分配給一台 Mac，或一組已經用傳輸線串好的 Mac 算力艙。

如果你有一台 Mac Studio 或一疊 Mac mini，MLX Node 可以把它們的閒置時間借給網路並賺取 MLX 代幣，而在 Ultra Mac 上執行的 Ultra 專屬席位收益最高。在 MLX World 上查看網路中的每台 Mac。

5常見問題

可以把 Mac mini 組成 AI 叢集嗎？

可以。搭載 M4 Pro 或 M5 Pro 晶片的 Mac mini 配備 Thunderbolt 5，在 macOS 26.2 或以上版本可以使用 RDMA；M4 和 M6 機型配備的是 Thunderbolt 4。MLX 分散式和 exo 都能把模型拆分到這些 Mac 上。

Mac 叢集能讓模型變快嗎？

取決於模型如何拆分。管線平行主要讓更大的模型跑得起來；透過 RDMA 的張量平行還能加快產生速度。Apple 表示四台 Mac Studio 最高可快三倍。

一定要 Thunderbolt 5 嗎？

要用 RDMA 就需要。較舊的 Mac 仍可透過 Thunderbolt 或乙太網路以 TCP 串接，但延遲高得多，因此管線拆分比張量拆分效果更好。