Cluster AI Mac.

1Apa yang berubah: RDMA lewat Thunderbolt 5

Sejak macOS 26.2, Mac bisa bertukar memori secara langsung lewat Thunderbolt 5 menggunakan RDMA, fitur yang disebut Apple untuk inferensi AI terdistribusi dengan MLX (Apple). MLX menyediakannya lewat backend JACCL, di samping MPI dan ring TCP (dokumentasi MLX).

Keuntungannya ada di latensi: menurut pengembang MLX, RDMA menurunkan latensi akses memori dari sekitar 300 µs menjadi di bawah 50 µs. Dalam pengujian Jeff Geerling, empat Mac Studio M3 Ultra menjalankan Kimi K2 Thinking yang berukuran 1 triliun parameter dengan sekitar 30 token per detik (Jeff Geerling).

2Dua cara membagi model

Pipeline parallelism memberi setiap Mac sederet lapisan yang berurutan. Cara ini memungkinkan model yang lebih besar dari Mac mana pun untuk tetap berjalan, dan prompt panjang bisa diproses dalam potongan paralel, tetapi kecepatan generasinya kurang lebih sama dengan satu Mac.

Tensor parallelism membagi setiap lapisan ke semua Mac. Cara ini juga mempercepat generasi, tetapi Mac saling bertukar data berkali-kali per token, sehingga butuh latensi rendah dari RDMA. Apple telah menerbitkan pengukuran keduanya pada cluster Mac Studio (Apple Machine Learning Research), dan menyatakan bahwa empat Mac Studio menjalankan inferensi hingga tiga kali lebih cepat daripada satu (Apple).

3Membangun cluster

1. Pilih Mac dengan Thunderbolt 5 untuk RDMA: M4 Pro, M4 Max, M3 Ultra, serta chip Pro, Max, dan Ultra yang lebih baru. Mac yang sama jenisnya membuat pembagian paling sederhana.
2. Hubungkan dengan kabel Thunderbolt 5, setiap pasang secara langsung. Dua kabel di antara satu pasang menggandakan bandwidth tautannya.
3. Perbarui setiap Mac ke macOS 26.2 atau yang lebih baru dan aktifkan RDMA sesuai dokumentasi Apple.
4. Jalankan model dengan MLX distributed (mlx.launch) atau dengan exo, yang menemukan Mac-Mac itu dan membagi model untuk Anda.

exo melaporkan peningkatan kecepatan tensor-parallel hingga 1,8 kali pada dua perangkat dan 3,2 kali pada empat. Ukur sendiri konfigurasi Anda: hasilnya sangat bergantung pada modelnya.

4Dari cluster ke jaringan

Cluster menggabungkan beberapa Mac di satu meja dengan kabel. MLX Network menggabungkan Mac di mana saja lewat internet. Karena latensi internet terlalu tinggi untuk membagi satu model ke Mac milik orang asing, jaringan menempatkan setiap pekerjaan secara utuh di satu Mac, atau di pod berisi Mac yang sudah terhubung kabel, berdasarkan memori dan bandwidth.

Jika Anda punya Mac Studio atau setumpuk Mac mini, MLX Node bisa meminjamkan waktu luangnya ke jaringan dan memperoleh token MLX, dan kursi khusus Ultra yang berjalan di Mac Ultra memperoleh paling banyak. Lihat setiap Mac di jaringan di MLX World.

5Pertanyaan

Bisakah Mac mini digabung menjadi cluster untuk AI?

Bisa. Mac mini dengan chip M4 Pro atau M5 Pro punya Thunderbolt 5 dan, dengan macOS 26.2 atau yang lebih baru, bisa memakai RDMA; model M4 dan M6 punya Thunderbolt 4. MLX distributed dan exo sama-sama bisa membagi model ke Mac-Mac itu.

Apakah cluster Mac membuat model lebih cepat?

Tergantung cara model dibagi. Pipeline parallelism terutama memungkinkan model yang lebih besar berjalan; tensor parallelism lewat RDMA juga mempercepat generasi. Apple menyebut hingga tiga kali lebih cepat pada empat Mac Studio.

Apakah saya butuh Thunderbolt 5?

Untuk RDMA, ya. Mac lama tetap bisa digabung lewat Thunderbolt atau Ethernet dengan TCP, tetapi latensinya jauh lebih tinggi, sehingga pembagian pipeline bekerja lebih baik daripada pembagian tensor.