Mac の AI クラスタ。

1何が変わったか：Thunderbolt 5 経由の RDMA

macOS 26.2 以降、Mac は RDMA を使って Thunderbolt 5 で直接メモリをやり取りできます。Apple はこの機能を、MLX による分散 AI 推論のためのものとして挙げています（Apple）。MLX は、MPI や TCP リングと並ぶ JACCL バックエンドとしてこれを提供しています（MLX のドキュメント）。

得られるのはレイテンシの改善です。MLX の開発者によると、RDMA はメモリアクセスのレイテンシを約 300µs から 50µs 未満に下げます。Jeff Geerling のテストでは、4 台の M3 Ultra 搭載 Mac Studio で 1 兆パラメータの Kimi K2 Thinking が毎秒約 30 トークンで動きました（Jeff Geerling）。

2モデルを分割する 2 つの方法

パイプライン並列では、各 Mac に連続したレイヤーの一部を割り当てます。どの Mac にも 1 台では収まらないモデルを動かせるようになり、長いプロンプトは分割して並列に処理できますが、生成速度は 1 台の Mac とほぼ変わりません。

テンソル並列では、すべてのレイヤーを複数の Mac に分割します。生成も速くなりますが、Mac 同士がトークンごとに何度もデータをやり取りするため、RDMA の低レイテンシが必要です。Apple は Mac Studio のクラスタで両方の測定結果を公開しており（Apple Machine Learning Research）、4 台の Mac Studio で推論が 1 台より最大 3 倍速くなるとしています（Apple）。

3クラスタを組む

1. RDMA を使うには、Thunderbolt 5 を備えた Mac を選びます。M4 Pro、M4 Max、M3 Ultra、およびそれ以降の Pro、Max、Ultra チップです。同じ Mac をそろえると、分割がいちばん簡単になります。
2. Thunderbolt 5 ケーブルで、各ペアを直接つなぎます。ペアの間を 2 本のケーブルでつなぐと、リンクの帯域幅が倍になります。
3. すべての Mac を macOS 26.2 以降にアップデートし、Apple のドキュメントの説明に従って RDMA を有効にします。
4. MLX の分散機能（mlx.launch）か、Mac を自動で見つけてモデルを分割してくれる exo でモデルを実行します。

exo は、テンソル並列で 2 台なら最大 1.8 倍、4 台なら 3.2 倍の高速化を報告しています。ご自身の構成で計測してください。効果はモデルによって大きく変わります。

4クラスタからネットワークへ

クラスタは、1 つの机の上の数台の Mac をケーブルでつなぎます。MLX Network は、インターネットを通じてあらゆる場所の Mac をつなぎます。インターネットのレイテンシは、見知らぬ人同士の Mac に 1 つのモデルを分割するにはあまりに大きいため、ネットワークはメモリと帯域幅をもとに、各ジョブを 1 台の Mac か、すでにケーブルでつながった Mac のポッドに丸ごと割り当てます。

Mac Studio や何台もの Mac mini をお持ちなら、MLX Node でその空き時間をネットワークに貸し出して MLX トークンを獲得できます。Ultra 搭載の Mac で動く Ultra の専用シートが、獲得量が最も多くなります。ネットワーク上のすべての Mac は MLX World で見られます。

5よくある質問

Mac mini で AI クラスタを組めますか？

組めます。M4 Pro または M5 Pro チップ搭載の Mac mini は Thunderbolt 5 を備えており、macOS 26.2 以降なら RDMA を使えます。M4 と M6 のモデルは Thunderbolt 4 です。MLX の分散機能と exo のどちらでも、モデルを複数台に分割できます。

Mac のクラスタでモデルは速くなりますか？

モデルの分割方法によります。パイプライン並列は主に大きなモデルを動かせるようにするもので、RDMA を使ったテンソル並列なら生成も速くなります。Apple は、4 台の Mac Studio で最大 3 倍速くなるとしています。

Thunderbolt 5 は必要ですか？

RDMA には必要です。古い Mac も Thunderbolt や Ethernet 経由の TCP でつなげますが、レイテンシがずっと大きいため、テンソル分割よりパイプライン分割のほうが向いています。