Mac AI 集群。

1变化在哪里：基于 Thunderbolt 5 的 RDMA

从 macOS 26.2 起，Mac 可以使用 RDMA 通过 Thunderbolt 5 直接交换内存，Apple 明确将这项功能用于基于 MLX 的分布式 AI 推理（Apple）。MLX 通过其 JACCL 后端提供这一能力，与 MPI 和 TCP 环并列（MLX 文档）。

收益在于延迟：据 MLX 的开发者介绍，RDMA 能把内存访问延迟从约 300 µs 降到 50 µs 以下。在 Jeff Geerling 的测试中，四台 M3 Ultra Mac Studio 以每秒约 30 个 token 的速度运行了 1 万亿参数的 Kimi K2 Thinking（Jeff Geerling）。

2拆分模型的两种方式

流水线并行让每台 Mac 负责一段连续的层。它能让比任何单台 Mac 都大的模型跑起来，长提示词也能分块并行处理，但生成速度与单台 Mac 差不多。

张量并行把每一层都拆分到多台 Mac 上。它也能加快生成，但每个 token 都要在 Mac 之间多次交换数据，因此需要 RDMA 的低延迟。Apple 发布了这两种方式在 Mac Studio 集群上的实测数据（Apple Machine Learning Research），并表示四台 Mac Studio 的推理速度最高可达单台的三倍（Apple）。

3搭建集群

1. 选择支持 Thunderbolt 5 的 Mac 以使用 RDMA：M4 Pro、M4 Max、M3 Ultra，以及之后的 Pro、Max 和 Ultra 芯片。配置相同的 Mac 拆分起来最简单。
2. 用 Thunderbolt 5 线缆连接，每两台直接相连。同一对 Mac 之间接两根线，链路带宽翻倍。
3. 把每台 Mac 更新到 macOS 26.2 或更高版本，并按 Apple 文档的说明启用 RDMA。
4. 用 MLX 分布式（mlx.launch）或 exo 运行模型，exo 会自动发现各台 Mac 并替你拆分模型。

exo 报告的张量并行提速：两台设备最高 1.8 倍，四台最高 3.2 倍。请实测你自己的配置：提升幅度很大程度上取决于模型。

4从集群到网络

集群是用线缆把一张桌上的几台 Mac 连起来。MLX Network 则通过互联网把世界各地的 Mac 连起来。由于互联网延迟太高，无法把一个模型拆分到素不相识的人的 Mac 上，网络会按内存和带宽，把每个任务完整地分配给一台 Mac，或一个已经用线缆连好的 Mac 算力舱。

如果你有一台 Mac Studio 或一摞 Mac mini，MLX Node 可以把它们的闲置时间借给网络并赚取 MLX 代币，而运行在 Ultra Mac 上的 Ultra 专属席位收益最高。在 MLX World 上查看网络中的每台 Mac。

5常见问题

能把 Mac mini 组成 AI 集群吗？

能。搭载 M4 Pro 或 M5 Pro 芯片的 Mac mini 配备 Thunderbolt 5，在 macOS 26.2 或更高版本上可以使用 RDMA；M4 和 M6 机型配备的是 Thunderbolt 4。MLX 分布式和 exo 都能把模型拆分到它们之上。

Mac 集群能让模型更快吗？

取决于模型如何拆分。流水线并行主要让更大的模型能跑起来；基于 RDMA 的张量并行还能加快生成。Apple 表示四台 Mac Studio 最高可快三倍。

需要 Thunderbolt 5 吗？

要用 RDMA，就需要。较旧的 Mac 仍可通过 Thunderbolt 或以太网用 TCP 连接，但延迟高得多，因此流水线拆分比张量拆分效果更好。