Mac yapay zekâ kümeleri.

1Ne değişti: Thunderbolt 5 üzerinden RDMA

macOS 26.2'den bu yana Mac'ler, Apple'ın MLX ile dağıtık yapay zekâ çıkarımı için öne çıkardığı bir özellik olan RDMA sayesinde belleği doğrudan Thunderbolt 5 üzerinden paylaşabiliyor (Apple). MLX bunu MPI ve TCP halkalarının yanında JACCL arka ucuyla sunar (MLX belgeleri).

Kazanç gecikmede: MLX geliştiricilerine göre RDMA, bellek erişim gecikmesini yaklaşık 300 µs'den 50 µs'nin altına indiriyor. Jeff Geerling'in testlerinde dört M3 Ultra'lı Mac Studio, 1 trilyon parametreli Kimi K2 Thinking'i saniyede yaklaşık 30 token hızla çalıştırdı (Jeff Geerling).

2Bir modeli bölmenin iki yolu

Pipeline paralelliği her Mac'e ardışık katmanlardan oluşan bir bölüm verir. Tek bir Mac'e sığmayan bir modelin çalışabilmesini sağlar ve uzun istemler paralel parçalar hâlinde işlenebilir, ancak üretim hızı tek bir Mac'tekiyle hemen hemen aynıdır.

Tensör paralelliği her katmanı Mac'ler arasında böler. Üretimi de hızlandırır, ancak Mac'ler token başına birçok kez veri alışverişi yaptığından RDMA'nın düşük gecikmesine ihtiyaç duyar. Apple, Mac Studio kümelerinde her iki yöntemin ölçümlerini yayımladı (Apple Machine Learning Research) ve dört Mac Studio'nun çıkarımı tek bir Mac Studio'dan üç kata kadar daha hızlı yaptığını belirtiyor (Apple).

3Küme kurmak

1. RDMA için Thunderbolt 5'li Mac'ler seçin: M4 Pro, M4 Max, M3 Ultra ve sonraki Pro, Max ve Ultra çipler. Aynı model Mac'ler bölmeyi en basit hâle getirir.
2. Onları Thunderbolt 5 kablolarıyla, her çifti doğrudan bağlayın. Bir çift arasındaki iki kablo, bağlantının bant genişliğini iki katına çıkarır.
3. Her Mac'i macOS 26.2 veya sonrasına güncelleyin ve RDMA'yı Apple'ın belgelerinde anlatıldığı gibi etkinleştirin.
4. Modeli MLX distributed (mlx.launch) ile ya da Mac'leri bulup modeli sizin için bölen exo ile çalıştırın.

exo, tensör paralelliğinde iki cihazda 1,8 kata, dört cihazda 3,2 kata kadar hız artışı bildiriyor. Kendi kurulumunuzu ölçün: kazanç büyük ölçüde modele bağlıdır.

4Kümeden ağa

Bir küme, tek bir masadaki birkaç Mac'i kablolarla birleştirir. MLX Network ise her yerdeki Mac'leri internet üzerinden birleştirir. İnternet gecikmesi tek bir modeli yabancıların Mac'leri arasında bölmek için çok yüksek olduğundan ağ, her işi bellek ve bant genişliğine göre bütün olarak tek bir Mac'e ya da zaten kablolarla birbirine bağlı bir Mac pod'una yerleştirir.

Bir Mac Studio'nuz ya da bir yığın Mac mini'niz varsa, MLX Node onların boştaki zamanını ağa ödünç verip MLX token kazanabilir; en çok da Ultra çipli bir Mac'te çalışan Ultra özel koltuk kazanır. Ağdaki her Mac'i MLX World üzerinde görün.

5Sorular

Yapay zekâ için Mac mini'leri kümeleyebilir miyim?

Evet. M4 Pro veya M5 Pro çipli Mac mini'lerde Thunderbolt 5 bulunur ve macOS 26.2 veya sonrasıyla RDMA kullanabilirler; M4 ve M6'lı modellerde Thunderbolt 4 vardır. MLX distributed ve exo, bir modeli bu Mac'ler arasında bölebilir.

Mac kümesi bir modeli hızlandırır mı?

Modelin nasıl bölündüğüne bağlıdır. Pipeline paralelliği esas olarak daha büyük modellerin çalışmasını sağlar; RDMA üzerinden tensör paralelliği üretimi de hızlandırır. Apple, dört Mac Studio'da üç kata kadar hız belirtiyor.

Thunderbolt 5 gerekli mi?

RDMA için evet. Eski Mac'ler hâlâ Thunderbolt veya Ethernet üzerinden TCP ile birleştirilebilir, ancak gecikme çok daha yüksektir; bu yüzden pipeline bölme, tensör bölmeden daha iyi çalışır.