Klastry AI z Maców.

1Co się zmieniło: RDMA przez Thunderbolt 5

Od macOS 26.2 Maki mogą wymieniać pamięć bezpośrednio przez Thunderbolt 5 za pomocą RDMA, funkcji, którą Apple wskazuje do rozproszonej inferencji AI z MLX (Apple). MLX udostępnia ją przez backend JACCL, obok MPI i pierścieni TCP (dokumentacja MLX).

Zyskiem jest opóźnienie: według twórców MLX, RDMA zmniejsza opóźnienie dostępu do pamięci z około 300 µs do poniżej 50 µs. W testach Jeffa Geerlinga cztery Maki Studio z M3 Ultra uruchomiły Kimi K2 Thinking z bilionem parametrów z szybkością około 30 tokenów na sekundę (Jeff Geerling).

2Dwa sposoby podziału modelu

Równoległość potokowa (pipeline parallelism) daje każdemu Macowi ciąg kolejnych warstw. Pozwala w ogóle uruchomić model większy niż którykolwiek pojedynczy Mac, a długie prompty można przetwarzać równolegle w kawałkach, ale generowanie jest mniej więcej tak szybkie jak na jednym Macu.

Równoległość tensorowa (tensor parallelism) dzieli każdą warstwę między Maki. Przyspiesza też generowanie, ale Maki wymieniają dane wiele razy na każdy token, więc potrzebuje niskiego opóźnienia RDMA. Apple opublikowało pomiary obu metod na klastrach Maców Studio (Apple Machine Learning Research) i podaje, że cztery Maki Studio wykonują inferencję do trzech razy szybciej niż jeden (Apple).

3Budowa klastra

1. Wybierz Maki z Thunderbolt 5 do RDMA: M4 Pro, M4 Max, M3 Ultra i nowsze układy Pro, Max i Ultra. Jednakowe Maki najbardziej upraszczają podział.
2. Połącz je kablami Thunderbolt 5, każdą parę bezpośrednio. Dwa kable między parą podwajają przepustowość łącza.
3. Zaktualizuj każdego Maca do macOS 26.2 lub nowszego i włącz RDMA zgodnie z dokumentacją Apple.
4. Uruchom model za pomocą MLX distributed (mlx.launch) albo exo, które samo wykrywa Maki i dzieli model.

exo podaje przyspieszenia przy równoległości tensorowej do 1,8 raza na dwóch urządzeniach i 3,2 raza na czterech. Zmierz własną konfigurację: zyski mocno zależą od modelu.

4Od klastra do sieci

Klaster łączy kablami kilka Maców na jednym biurku. MLX Network łączy Maki na całym świecie przez internet. Ponieważ opóźnienia w internecie są o wiele za duże, by dzielić jeden model między Maki obcych ludzi, sieć przydziela każde zadanie w całości jednemu Macowi albo grupie Maców, które już są połączone kablami, według pamięci i przepustowości.

Jeśli masz Maca Studio albo stos komputerów Mac mini, MLX Node może użyczać ich wolnego czasu sieci i zarabiać tokeny MLX, a najwięcej zarabia dedykowane miejsce Ultra działające na Macu z układem Ultra. Zobacz każdego Maca w sieci na MLX World.

5Pytania

Czy mogę połączyć komputery Mac mini w klaster AI?

Tak. Mac mini z układem M4 Pro lub M5 Pro ma Thunderbolt 5, a z macOS 26.2 lub nowszym może korzystać z RDMA; modele z M4 i M6 mają Thunderbolt 4. MLX distributed i exo potrafią podzielić model między takie Maki.

Czy klaster Maców przyspiesza model?

To zależy od sposobu podziału modelu. Równoległość potokowa głównie pozwala uruchamiać większe modele; równoległość tensorowa przez RDMA przyspiesza też generowanie. Apple podaje do trzech razy większą szybkość na czterech Macach Studio.

Czy potrzebuję Thunderbolt 5?

Do RDMA tak. Starsze Maki nadal można łączyć przez Thunderbolt lub Ethernet z TCP, ale opóźnienie jest dużo większe, więc podział potokowy sprawdza się lepiej niż tensorowy.