Кластеры Mac для ИИ.

1Что изменилось: RDMA через Thunderbolt 5

Начиная с macOS 26.2 Mac могут напрямую обмениваться памятью через Thunderbolt 5 по RDMA — Apple прямо указывает, что функция предназначена для распределенного инференса ИИ с MLX (Apple). MLX дает к ней доступ через свой бэкенд JACCL, наряду с MPI и кольцами TCP (документация MLX).

Выигрыш — в задержке: по данным разработчиков MLX, RDMA снижает задержку доступа к памяти примерно с 300 мкс до менее чем 50 мкс. В тестах Джеффа Гирлинга четыре Mac Studio с M3 Ultra запускали модель Kimi K2 Thinking на 1 триллион параметров со скоростью около 30 токенов в секунду (Jeff Geerling).

2Два способа разделить модель

Конвейерный параллелизм (pipeline parallelism) отдает каждому Mac последовательный блок слоев. Он позволяет вообще запустить модель, которая не помещается ни в один Mac, а длинные запросы можно обрабатывать параллельными частями, но генерация идет примерно с той же скоростью, что и на одном Mac.

Тензорный параллелизм (tensor parallelism) делит каждый слой между Mac. Он ускоряет и генерацию, но Mac обмениваются данными много раз за токен, поэтому ему нужна низкая задержка RDMA. Apple опубликовала измерения обоих подходов на кластерах Mac Studio (Apple Machine Learning Research) и заявляет, что четыре Mac Studio выполняют инференс до трех раз быстрее, чем один (Apple).

3Как собрать кластер

1. Для RDMA выбирайте Mac с Thunderbolt 5: M4 Pro, M4 Max, M3 Ultra и более новые чипы Pro, Max и Ultra. С одинаковыми Mac разделить модель проще всего.
2. Соедините их кабелями Thunderbolt 5, каждую пару напрямую. Два кабеля между парой удваивают пропускную способность соединения.
3. Обновите все Mac до macOS 26.2 или новее и включите RDMA, как описано в документации Apple.
4. Запустите модель с MLX distributed (mlx.launch) или с exo — он сам находит Mac и делит модель.

exo сообщает об ускорении при тензорном параллелизме до 1,8 раза на двух устройствах и до 3,2 раза на четырех. Измерьте свою конфигурацию: прирост сильно зависит от модели.

4От кластера к сети

Кластер соединяет кабелями несколько Mac на одном столе. MLX Network объединяет Mac по всему миру через интернет. Задержка в интернете слишком велика, чтобы делить одну модель между Mac незнакомых людей, поэтому сеть размещает каждую задачу целиком на одном Mac или на группе Mac, уже соединенных кабелями, — по объему памяти и пропускной способности.

Если у вас есть Mac Studio или стопка Mac mini, MLX Node может отдавать их свободное время сети и зарабатывать токены MLX, а больше всего зарабатывает выделенное место Ultra, работающее на Mac с чипом Ultra. Все Mac в сети — на MLX World.

5Вопросы

Можно ли объединить Mac mini в кластер для ИИ?

Да. У Mac mini с чипом M4 Pro или M5 Pro есть Thunderbolt 5, и с macOS 26.2 или новее они могут использовать RDMA; у моделей с M4 и M6 — Thunderbolt 4. И MLX distributed, и exo умеют делить модель между ними.

Ускоряет ли кластер Mac работу модели?

Зависит от того, как разделена модель. Конвейерный параллелизм в основном позволяет запускать более крупные модели; тензорный параллелизм через RDMA ускоряет и генерацию. Apple заявляет об ускорении до трех раз на четырех Mac Studio.

Нужен ли Thunderbolt 5?

Для RDMA — да. Старые Mac тоже можно объединить через Thunderbolt или Ethernet по TCP, но задержка там намного выше, поэтому конвейерное разделение работает лучше тензорного.