KI-Cluster aus Macs.

1Was sich geändert hat: RDMA über Thunderbolt 5

Seit macOS 26.2 können Macs über Thunderbolt 5 per RDMA direkt Speicher austauschen, eine Funktion, die Apple ausdrücklich für verteilte KI-Inferenz mit MLX nennt (Apple). MLX stellt sie über sein JACCL-Backend bereit, neben MPI und TCP-Ringen (MLX-Dokumentation).

Der Gewinn liegt in der Latenz: Laut den Entwicklern von MLX senkt RDMA die Latenz beim Speicherzugriff von etwa 300 µs auf unter 50 µs. In Jeff Geerlings Tests führten vier Mac Studios mit M3 Ultra Kimi K2 Thinking mit 1 Billion Parametern mit etwa 30 Tokens pro Sekunde aus (Jeff Geerling).

2Zwei Wege, ein Modell aufzuteilen

Pipeline-Parallelität gibt jedem Mac eine Folge aufeinanderfolgender Schichten. So läuft ein Modell, das größer ist als jeder einzelne Mac, überhaupt erst, und lange Prompts lassen sich in parallelen Abschnitten verarbeiten, doch die Generierung ist etwa so schnell wie auf einem Mac.

Tensor-Parallelität teilt jede Schicht auf die Macs auf. Das beschleunigt auch die Generierung, aber die Macs tauschen pro Token viele Male Daten aus, daher braucht sie die geringe Latenz von RDMA. Apple hat Messungen beider Verfahren auf Clustern aus Mac Studios veröffentlicht (Apple Machine Learning Research) und gibt an, dass vier Mac Studios Inferenz bis zu dreimal schneller ausführen als einer (Apple).

3Einen Cluster bauen

1. Wähle Macs mit Thunderbolt 5 für RDMA: M4 Pro, M4 Max, M3 Ultra und spätere Pro-, Max- und Ultra-Chips. Gleiche Macs machen die Aufteilung am einfachsten.
2. Verbinde sie mit Thunderbolt 5 Kabeln, jedes Paar direkt. Zwei Kabel zwischen einem Paar verdoppeln die Bandbreite der Verbindung.
3. Aktualisiere jeden Mac auf macOS 26.2 oder neuer und aktiviere RDMA, wie Apples Dokumentation es beschreibt.
4. Führe das Modell mit MLX distributed (mlx.launch) oder mit exo aus, das die Macs findet und das Modell für dich aufteilt.

exo meldet mit Tensor-Parallelität bis zu 1,8-fache Geschwindigkeit auf zwei Geräten und 3,2-fache auf vier. Miss deinen eigenen Aufbau: Die Gewinne hängen stark vom Modell ab.

4Vom Cluster zum Netzwerk

Ein Cluster verbindet ein paar Macs auf einem Schreibtisch per Kabel. MLX Network verbindet Macs überall über das Internet. Weil die Latenz im Internet viel zu hoch ist, um ein Modell auf die Macs Fremder aufzuteilen, legt das Netzwerk jeden Job vollständig auf einen einzelnen Mac oder auf einen Pod bereits verkabelter Macs, nach Arbeitsspeicher und Bandbreite.

Wenn du einen Mac Studio oder einen Stapel Mac minis besitzt, kann MLX Node ihre freie Zeit dem Netzwerk zur Verfügung stellen und MLX Tokens verdienen, und ein Ultra-Platz auf einem Ultra-Mac verdient am meisten. Alle Macs im Netzwerk siehst du auf MLX World.

5Fragen

Kann ich Mac minis zu einem KI-Cluster verbinden?

Ja. Mac minis mit M4 Pro oder M5 Pro haben Thunderbolt 5 und können ab macOS 26.2 RDMA nutzen; die Modelle mit M4 und M6 haben Thunderbolt 4. MLX distributed und exo verteilen beide ein Modell auf sie.

Macht ein Mac-Cluster ein Modell schneller?

Das hängt davon ab, wie das Modell aufgeteilt wird. Pipeline-Parallelität lässt vor allem größere Modelle laufen; Tensor-Parallelität über RDMA beschleunigt auch die Generierung. Apple nennt bis zu dreifaches Tempo mit vier Mac Studios.

Brauche ich Thunderbolt 5?

Für RDMA ja. Ältere Macs lassen sich weiterhin über Thunderbolt oder Ethernet mit TCP verbinden, doch die Latenz ist viel höher, daher funktioniert eine Pipeline-Aufteilung besser als eine Tensor-Aufteilung.