Kluster AI Mac.

1Apa yang berubah: RDMA melalui Thunderbolt 5

Sejak macOS 26.2, Mac boleh bertukar memori secara terus melalui Thunderbolt 5 menggunakan RDMA, ciri yang dinamakan Apple untuk inferens AI teragih dengan MLX (Apple). MLX menyediakannya melalui backend JACCL, di samping MPI dan gelang TCP (dokumentasi MLX).

Kelebihannya ialah kependaman: menurut pembangun MLX, RDMA menurunkan kependaman akses memori daripada kira-kira 300 µs kepada bawah 50 µs. Dalam ujian Jeff Geerling, empat Mac Studio M3 Ultra menjalankan Kimi K2 Thinking yang bersaiz 1 trilion parameter pada kira-kira 30 token sesaat (Jeff Geerling).

2Dua cara membahagikan model

Pipeline parallelism memberi setiap Mac satu siri lapisan yang berturutan. Ia membolehkan model yang lebih besar daripada mana-mana Mac tunggal untuk berjalan sama sekali, dan prompt panjang boleh diproses dalam bahagian selari, tetapi kelajuan penjanaan lebih kurang sama seperti pada satu Mac.

Tensor parallelism membahagikan setiap lapisan merentas Mac. Ia turut mempercepatkan penjanaan, tetapi Mac bertukar data berkali-kali bagi setiap token, jadi ia memerlukan kependaman rendah RDMA. Apple telah menerbitkan ukuran kedua-duanya pada kluster Mac Studio (Apple Machine Learning Research), dan menyatakan bahawa empat Mac Studio menjalankan inferens sehingga tiga kali lebih pantas daripada satu (Apple).

3Membina kluster

1. Pilih Mac dengan Thunderbolt 5 untuk RDMA: M4 Pro, M4 Max, M3 Ultra dan cip Pro, Max serta Ultra yang lebih baharu. Mac yang sama jenis menjadikan pembahagian paling mudah.
2. Sambungkan dengan kabel Thunderbolt 5, setiap pasangan secara terus. Dua kabel antara satu pasangan menggandakan lebar jalur sambungannya.
3. Kemas kini setiap Mac kepada macOS 26.2 atau lebih baharu dan dayakan RDMA seperti yang diterangkan dalam dokumentasi Apple.
4. Jalankan model dengan MLX distributed (mlx.launch) atau dengan exo, yang menemui Mac-Mac itu dan membahagikan model untuk anda.

exo melaporkan peningkatan kelajuan tensor-parallel sehingga 1.8 kali pada dua peranti dan 3.2 kali pada empat. Ukur sendiri persediaan anda: hasilnya sangat bergantung pada model.

4Daripada kluster kepada rangkaian

Kluster menggabungkan beberapa Mac di atas satu meja dengan kabel. MLX Network menggabungkan Mac di mana-mana sahaja melalui internet. Oleh sebab kependaman internet terlalu tinggi untuk membahagikan satu model merentas Mac orang yang tidak dikenali, rangkaian meletakkan setiap kerja secara keseluruhan pada satu Mac, atau pada pod Mac yang sudah disambungkan dengan kabel, mengikut memori dan lebar jalur.

Jika anda memiliki Mac Studio atau sederet Mac mini, MLX Node boleh meminjamkan masa terluang mereka kepada rangkaian dan memperoleh token MLX, dan kerusi khas Ultra yang berjalan pada Mac Ultra memperoleh paling banyak. Lihat setiap Mac dalam rangkaian pada MLX World.

5Soalan

Bolehkah saya membina kluster Mac mini untuk AI?

Ya. Mac mini dengan cip M4 Pro atau M5 Pro mempunyai Thunderbolt 5 dan, dengan macOS 26.2 atau lebih baharu, boleh menggunakan RDMA; model M4 dan M6 mempunyai Thunderbolt 4. MLX distributed dan exo kedua-duanya boleh membahagikan model merentasinya.

Adakah kluster Mac menjadikan model lebih pantas?

Ia bergantung pada cara model dibahagikan. Pipeline parallelism terutamanya membolehkan model yang lebih besar berjalan; tensor parallelism melalui RDMA juga mempercepatkan penjanaan. Apple menyatakan sehingga tiga kali lebih pantas pada empat Mac Studio.

Perlukah saya Thunderbolt 5?

Untuk RDMA, ya. Mac lama masih boleh digabungkan melalui Thunderbolt atau Ethernet dengan TCP, tetapi kependamannya jauh lebih tinggi, jadi pembahagian pipeline berfungsi lebih baik daripada pembahagian tensor.