Les clusters IA de Mac.

1Ce qui a changé : le RDMA sur Thunderbolt 5

Depuis macOS 26.2, les Mac peuvent échanger de la mémoire directement via Thunderbolt 5 grâce au RDMA, une fonction qu’Apple présente pour l’inférence d’IA distribuée avec MLX (Apple). MLX l’expose via son backend JACCL, aux côtés de MPI et des anneaux TCP (documentation MLX).

Le gain porte sur la latence : selon les développeurs de MLX, le RDMA fait passer la latence d’accès à la mémoire d’environ 300 µs à moins de 50 µs. Lors des tests de Jeff Geerling, quatre Mac Studio M3 Ultra ont fait tourner Kimi K2 Thinking, un modèle de mille milliards de paramètres, à environ 30 tokens par seconde (Jeff Geerling).

2Deux façons de répartir un modèle

Le parallélisme de pipeline confie à chaque Mac une suite de couches consécutives. Il permet de faire tourner un modèle plus gros que n’importe quel Mac pris seul, et les longs prompts peuvent être traités en morceaux parallèles, mais la génération n’est guère plus rapide que sur un seul Mac.

Le parallélisme de tenseurs répartit chaque couche entre les Mac. Il accélère aussi la génération, mais les Mac échangent des données de nombreuses fois par token : il lui faut donc la faible latence du RDMA. Apple a publié des mesures des deux sur des clusters de Mac Studio (Apple Machine Learning Research), et indique que quatre Mac Studio exécutent l’inférence jusqu’à trois fois plus vite qu’un seul (Apple).

3Monter un cluster

1. Choisissez des Mac dotés de Thunderbolt 5 pour le RDMA : M4 Pro, M4 Max, M3 Ultra et les puces Pro, Max et Ultra plus récentes. Des Mac identiques simplifient la répartition.
2. Reliez-les avec des câbles Thunderbolt 5, chaque paire directement. Deux câbles entre une même paire doublent la bande passante du lien.
3. Mettez chaque Mac à jour vers macOS 26.2 ou ultérieur et activez le RDMA comme le décrit la documentation d’Apple.
4. Lancez le modèle avec MLX distribué (mlx.launch) ou avec exo, qui détecte les Mac et répartit le modèle pour vous.

exo annonce des accélérations en parallélisme de tenseurs jusqu’à 1,8 fois sur deux appareils et 3,2 fois sur quatre. Mesurez votre propre configuration : les gains dépendent beaucoup du modèle.

4Du cluster au réseau

Un cluster relie quelques Mac sur un bureau, avec des câbles. MLX Network relie des Mac partout, via internet. Comme la latence d’internet est bien trop élevée pour répartir un modèle entre les Mac d’inconnus, le réseau attribue chaque tâche entière à un seul Mac, ou à un pod de Mac déjà reliés par câble, selon la mémoire et la bande passante.

Si vous possédez un Mac Studio ou une pile de Mac mini, MLX Node peut prêter leur temps libre au réseau et gagner des jetons MLX, et c’est une place dédiée Ultra sur un Mac Ultra qui gagne le plus. Voyez tous les Mac du réseau sur MLX World.

5Questions

Peut-on monter un cluster de Mac mini pour l’IA ?

Oui. Les Mac mini avec puce M4 Pro ou M5 Pro ont le Thunderbolt 5 et, sous macOS 26.2 ou ultérieur, peuvent utiliser le RDMA ; les modèles M4 et M6 ont le Thunderbolt 4. MLX distribué et exo savent tous deux y répartir un modèle.

Un cluster de Mac rend-il un modèle plus rapide ?

Cela dépend de la répartition. Le parallélisme de pipeline permet surtout de faire tourner de plus gros modèles ; le parallélisme de tenseurs via RDMA accélère aussi la génération. Apple annonce jusqu’à trois fois plus de vitesse sur quatre Mac Studio.

Faut-il du Thunderbolt 5 ?

Pour le RDMA, oui. Les Mac plus anciens peuvent toujours être reliés en Thunderbolt ou en Ethernet avec TCP, mais la latence est bien plus élevée : la répartition en pipeline fonctionne alors mieux que la répartition en tenseurs.