Clusters AI με Mac.

1Τι άλλαξε: RDMA μέσω Thunderbolt 5

Από το macOS 26.2, οι Mac μπορούν να ανταλλάσσουν μνήμη απευθείας μέσω Thunderbolt 5 με RDMA, μια δυνατότητα που η Apple προορίζει για κατανεμημένη εκτέλεση (inference) AI με το MLX (Apple). Το MLX την προσφέρει μέσω του backend JACCL, δίπλα στα MPI και TCP rings (τεκμηρίωση MLX).

Το κέρδος είναι η καθυστέρηση: το RDMA μειώνει την καθυστέρηση πρόσβασης στη μνήμη από περίπου 300 µs σε κάτω από 50 µs, σύμφωνα με τους προγραμματιστές του MLX. Στις δοκιμές του Jeff Geerling, τέσσερα Mac Studio με M3 Ultra εκτέλεσαν το Kimi K2 Thinking, με 1 τρισεκατομμύριο παραμέτρους, με περίπου 30 tokens ανά δευτερόλεπτο (Jeff Geerling).

2Δύο τρόποι να μοιράσετε ένα μοντέλο

Ο παραλληλισμός pipeline δίνει σε κάθε Mac μια σειρά διαδοχικών επιπέδων. Επιτρέπει να τρέξει ένα μοντέλο μεγαλύτερο από οποιονδήποτε μεμονωμένο Mac, και τα μεγάλα prompts μπορούν να επεξεργαστούν σε παράλληλα κομμάτια, αλλά η δημιουργία είναι περίπου τόσο γρήγορη όσο σε έναν Mac.

Ο παραλληλισμός tensor μοιράζει κάθε επίπεδο σε όλους τους Mac. Επιταχύνει και τη δημιουργία, αλλά οι Mac ανταλλάσσουν δεδομένα πολλές φορές ανά token, οπότε χρειάζεται τη χαμηλή καθυστέρηση του RDMA. Η Apple έχει δημοσιεύσει μετρήσεις και για τα δύο σε clusters από Mac Studio (Apple Machine Learning Research) και αναφέρει ότι τέσσερα Mac Studio εκτελούν inference έως τρεις φορές πιο γρήγορα από ένα (Apple).

3Πώς φτιάχνετε ένα cluster

1. Διαλέξτε Mac με Thunderbolt 5 για RDMA: M4 Pro, M4 Max, M3 Ultra και νεότερα τσιπ Pro, Max και Ultra. Με ίδιους Mac το μοίρασμα είναι απλούστερο.
2. Συνδέστε τους με καλώδια Thunderbolt 5, κάθε ζεύγος απευθείας. Δύο καλώδια ανάμεσα σε ένα ζεύγος διπλασιάζουν το εύρος ζώνης της σύνδεσης.
3. Ενημερώστε κάθε Mac σε macOS 26.2 ή νεότερο και ενεργοποιήστε το RDMA όπως περιγράφει η τεκμηρίωση της Apple.
4. Εκτελέστε το μοντέλο με το MLX distributed (mlx.launch) ή με το exo, που εντοπίζει τους Mac και μοιράζει το μοντέλο για εσάς.

Το exo αναφέρει επιτάχυνση με παραλληλισμό tensor έως 1,8 φορές σε δύο συσκευές και 3,2 φορές σε τέσσερις. Μετρήστε τη δική σας διάταξη: τα κέρδη εξαρτώνται πολύ από το μοντέλο.

4Από ένα cluster σε ένα δίκτυο

Ένα cluster ενώνει λίγους Mac σε ένα γραφείο με καλώδια. Το MLX Network ενώνει Mac παντού μέσω του διαδικτύου. Επειδή η καθυστέρηση του διαδικτύου είναι πολύ μεγάλη για να μοιραστεί ένα μοντέλο σε Mac αγνώστων, το δίκτυο τοποθετεί κάθε εργασία ολόκληρη σε έναν Mac, ή σε ένα pod από Mac που είναι ήδη συνδεδεμένοι με καλώδια, ανάλογα με τη μνήμη και το εύρος ζώνης.

Αν έχετε ένα Mac Studio ή μια στοίβα από Mac mini, το MLX Node μπορεί να διαθέτει τον ελεύθερο χρόνο τους στο δίκτυο και να κερδίζει tokens MLX, και μια αποκλειστική θέση Ultra σε Mac με Ultra κερδίζει τα περισσότερα. Δείτε κάθε Mac του δικτύου στο MLX World.

5Ερωτήσεις

Μπορώ να φτιάξω cluster από Mac mini για AI;

Ναι. Τα Mac mini με τσιπ M4 Pro ή M5 Pro έχουν Thunderbolt 5 και, με macOS 26.2 ή νεότερο, μπορούν να χρησιμοποιήσουν RDMA· τα μοντέλα με M4 και M6 έχουν Thunderbolt 4. Το MLX distributed και το exo μοιράζουν ένα μοντέλο ανάμεσά τους.

Κάνει ένα cluster από Mac ένα μοντέλο πιο γρήγορο;

Εξαρτάται από τον τρόπο που μοιράζεται το μοντέλο. Ο παραλληλισμός pipeline κυρίως επιτρέπει να τρέξουν μεγαλύτερα μοντέλα· ο παραλληλισμός tensor μέσω RDMA επιταχύνει και τη δημιουργία. Η Apple αναφέρει έως τρεις φορές πιο γρήγορα σε τέσσερα Mac Studio.

Χρειάζομαι Thunderbolt 5;

Για RDMA, ναι. Παλαιότεροι Mac μπορούν ακόμη να ενωθούν μέσω Thunderbolt ή Ethernet με TCP, αλλά η καθυστέρηση είναι πολύ μεγαλύτερη, οπότε το μοίρασμα pipeline λειτουργεί καλύτερα από το μοίρασμα tensor.