Кластери Mac для ШІ.

1Що змінилося: RDMA через Thunderbolt 5

Починаючи з macOS 26.2 Mac можуть напряму обмінюватися пам’яттю через Thunderbolt 5 за допомогою RDMA — Apple прямо вказує, що функція призначена для розподіленого інференсу ШІ з MLX (Apple). MLX дає до неї доступ через свій бекенд JACCL, поряд із MPI та кільцями TCP (документація MLX).

Виграш — у затримці: за даними розробників MLX, RDMA знижує затримку доступу до пам’яті приблизно з 300 мкс до менш ніж 50 мкс. У тестах Джеффа Ґірлінґа чотири Mac Studio з M3 Ultra запускали модель Kimi K2 Thinking на 1 трильйон параметрів зі швидкістю близько 30 токенів за секунду (Jeff Geerling).

2Два способи розділити модель

Конвеєрний паралелізм (pipeline parallelism) віддає кожному Mac послідовний блок шарів. Він дає змогу взагалі запустити модель, яка не вміщається в жоден окремий Mac, а довгі запити можна обробляти паралельними частинами, але генерація йде приблизно з тією самою швидкістю, що й на одному Mac.

Тензорний паралелізм (tensor parallelism) ділить кожен шар між Mac. Він прискорює й генерацію, але Mac обмінюються даними багато разів за токен, тож йому потрібна низька затримка RDMA. Apple опублікувала вимірювання обох підходів на кластерах Mac Studio (Apple Machine Learning Research) і заявляє, що чотири Mac Studio виконують інференс до трьох разів швидше, ніж один (Apple).

3Як зібрати кластер

1. Для RDMA вибирайте Mac із Thunderbolt 5: M4 Pro, M4 Max, M3 Ultra та новіші чипи Pro, Max і Ultra. З однаковими Mac розділити модель найпростіше.
2. З’єднайте їх кабелями Thunderbolt 5, кожну пару напряму. Два кабелі між парою подвоюють пропускну здатність з’єднання.
3. Оновіть усі Mac до macOS 26.2 або новішої й увімкніть RDMA, як описано в документації Apple.
4. Запустіть модель з MLX distributed (mlx.launch) або з exo — він сам знаходить Mac і ділить модель.

exo повідомляє про прискорення в разі тензорного паралелізму до 1,8 раза на двох пристроях і до 3,2 раза на чотирьох. Виміряйте свою конфігурацію: приріст сильно залежить від моделі.

4Від кластера до мережі

Кластер з’єднує кабелями кілька Mac на одному столі. MLX Network об’єднує Mac по всьому світу через інтернет. Затримка в інтернеті завелика, щоб ділити одну модель між Mac незнайомих людей, тому мережа розміщує кожне завдання цілком на одному Mac або на групі Mac, уже з’єднаних кабелями, — за обсягом пам’яті й пропускною здатністю.

Якщо у вас є Mac Studio або стос Mac mini, MLX Node може віддавати їхній вільний час мережі й заробляти токени MLX, а найбільше заробляє виділене місце Ultra, що працює на Mac із чипом Ultra. Усі Mac у мережі — на MLX World.

5Запитання

Чи можна об’єднати Mac mini в кластер для ШІ?

Так. Mac mini з чипом M4 Pro або M5 Pro мають Thunderbolt 5 і з macOS 26.2 або новішою можуть використовувати RDMA; моделі з M4 і M6 мають Thunderbolt 4. І MLX distributed, і exo вміють ділити модель між ними.

Чи прискорює кластер Mac роботу моделі?

Залежить від того, як розділено модель. Конвеєрний паралелізм переважно дає змогу запускати більші моделі; тензорний паралелізм через RDMA прискорює й генерацію. Apple заявляє про прискорення до трьох разів на чотирьох Mac Studio.

Чи потрібен Thunderbolt 5?

Для RDMA — так. Старіші Mac теж можна об’єднати через Thunderbolt або Ethernet по TCP, але затримка там набагато вища, тож конвеєрний поділ працює краще за тензорний.