Cụm AI bằng Mac.

1Điều gì đã thay đổi: RDMA qua Thunderbolt 5

Từ macOS 26.2, các máy Mac có thể trao đổi bộ nhớ trực tiếp qua Thunderbolt 5 bằng RDMA, tính năng mà Apple nêu rõ là dành cho suy luận AI phân tán với MLX (Apple). MLX cung cấp tính năng này qua backend JACCL, bên cạnh MPI và vòng TCP (tài liệu MLX).

Lợi ích nằm ở độ trễ: theo các nhà phát triển MLX, RDMA giảm độ trễ truy cập bộ nhớ từ khoảng 300 µs xuống dưới 50 µs. Trong các bài thử của Jeff Geerling, bốn Mac Studio M3 Ultra chạy Kimi K2 Thinking 1 nghìn tỷ tham số ở khoảng 30 token mỗi giây (Jeff Geerling).

2Hai cách chia một mô hình

Song song pipeline giao cho mỗi máy Mac một dải các lớp liên tiếp. Cách này cho phép chạy một mô hình lớn hơn bất kỳ máy Mac đơn lẻ nào, và prompt dài có thể được xử lý song song theo từng khúc, nhưng tốc độ sinh văn bản chỉ ngang một máy Mac.

Song song tensor chia từng lớp ra cho các máy Mac. Cách này tăng cả tốc độ sinh văn bản, nhưng các máy Mac phải trao đổi dữ liệu nhiều lần cho mỗi token, nên cần độ trễ thấp của RDMA. Apple đã công bố số đo của cả hai cách trên các cụm Mac Studio (Apple Machine Learning Research), và cho biết bốn Mac Studio chạy suy luận nhanh hơn tới ba lần so với một máy (Apple).

3Dựng một cụm

1. Chọn Mac có Thunderbolt 5 để dùng RDMA: M4 Pro, M4 Max, M3 Ultra và các chip Pro, Max, Ultra đời sau. Các máy Mac giống nhau giúp việc chia đơn giản nhất.
2. Nối các máy bằng cáp Thunderbolt 5, từng cặp nối trực tiếp với nhau. Hai sợi cáp giữa một cặp sẽ nhân đôi băng thông kết nối.
3. Cập nhật mọi máy Mac lên macOS 26.2 trở lên và bật RDMA theo hướng dẫn trong tài liệu của Apple.
4. Chạy mô hình bằng MLX distributed (mlx.launch) hoặc bằng exo, công cụ tự tìm các máy Mac và chia mô hình giúp bạn.

exo ghi nhận mức tăng tốc song song tensor tới 1,8 lần trên hai thiết bị và 3,2 lần trên bốn thiết bị. Hãy tự đo hệ thống của bạn: mức tăng phụ thuộc rất nhiều vào mô hình.

4Từ một cụm đến một mạng lưới

Một cụm ghép vài máy Mac trên một bàn bằng cáp. MLX Network ghép các máy Mac ở khắp nơi qua internet. Vì độ trễ internet quá cao để chia một mô hình ra máy Mac của những người lạ, mạng lưới đặt trọn mỗi tác vụ lên một máy Mac, hoặc lên một pod gồm các máy Mac đã được nối cáp sẵn với nhau, dựa trên bộ nhớ và băng thông.

Nếu bạn có một Mac Studio hoặc một chồng Mac mini, MLX Node có thể cho mạng lưới mượn thời gian rảnh của chúng và kiếm token MLX, và một ghế riêng Ultra chạy trên Mac dùng chip Ultra kiếm được nhiều nhất. Xem mọi máy Mac trong mạng lưới trên MLX World.

5Câu hỏi

Có thể ghép cụm Mac mini để chạy AI không?

Có. Mac mini dùng chip M4 Pro hoặc M5 Pro có Thunderbolt 5 và, với macOS 26.2 trở lên, có thể dùng RDMA; các mẫu M4 và M6 có Thunderbolt 4. Cả MLX distributed và exo đều chia được một mô hình ra các máy này.

Cụm Mac có làm mô hình chạy nhanh hơn không?

Tùy cách chia mô hình. Song song pipeline chủ yếu giúp chạy được mô hình lớn hơn; song song tensor qua RDMA còn tăng tốc độ sinh văn bản. Apple cho biết nhanh hơn tới ba lần trên bốn Mac Studio.

Tôi có cần Thunderbolt 5 không?

Với RDMA thì cần. Các máy Mac cũ hơn vẫn ghép được qua Thunderbolt hoặc Ethernet bằng TCP, nhưng độ trễ cao hơn nhiều, nên chia theo pipeline hiệu quả hơn chia theo tensor.