Mac AI 클러스터.

1무엇이 바뀌었나: Thunderbolt 5를 통한 RDMA

macOS 26.2부터 Mac은 RDMA를 이용해 Thunderbolt 5로 메모리를 직접 주고받을 수 있습니다. Apple은 이 기능의 용도로 MLX를 활용한 분산 AI 추론을 명시하고 있습니다(Apple). MLX는 MPI, TCP 링과 함께 JACCL 백엔드로 이 기능을 제공합니다(MLX 문서).

이점은 지연 시간입니다. MLX 개발자들에 따르면 RDMA는 메모리 접근 지연을 약 300µs에서 50µs 미만으로 줄입니다. Jeff Geerling의 테스트에서 M3 Ultra Mac Studio 4대는 1조 파라미터 모델 Kimi K2 Thinking을 초당 약 30토큰으로 돌렸습니다(Jeff Geerling).

2모델을 나누는 두 가지 방법

파이프라인 병렬화는 Mac마다 연속된 레이어 묶음을 맡깁니다. 어떤 Mac 한 대보다 큰 모델도 돌릴 수 있게 해 주고, 긴 프롬프트는 여러 덩어리로 나눠 병렬 처리할 수 있지만, 생성 속도는 Mac 한 대와 비슷합니다.

텐서 병렬화는 모든 레이어를 여러 Mac에 나눕니다. 생성 속도도 빨라지지만 Mac끼리 토큰마다 데이터를 여러 번 주고받아야 하므로, RDMA의 낮은 지연 시간이 필요합니다. Apple은 Mac Studio 클러스터에서 두 방식을 측정한 결과를 공개했고(Apple Machine Learning Research), Mac Studio 4대가 한 대보다 최대 3배 빠르게 추론한다고 밝혔습니다(Apple).

3클러스터 만들기

1. RDMA를 쓰려면 Thunderbolt 5를 갖춘 Mac을 고르세요. M4 Pro, M4 Max, M3 Ultra와 그 이후의 Pro, Max, Ultra 칩입니다. 같은 Mac끼리 묶으면 나누기가 가장 간단합니다.
2. Thunderbolt 5 케이블로 연결하되, 각 쌍을 직접 연결하세요. 한 쌍 사이에 케이블 두 개를 쓰면 링크 대역폭이 두 배가 됩니다.
3. 모든 Mac을 macOS 26.2 이상으로 업데이트하고, Apple 문서에 나온 대로 RDMA를 켜세요.
4. MLX distributed(mlx.launch)나 exo로 모델을 실행하세요. exo는 Mac을 찾아 모델을 알아서 나눠 줍니다.

exo는 텐서 병렬 처리로 기기 2대에서 최대 1.8배, 4대에서 3.2배의 속도 향상을 보고합니다. 직접 구성을 측정해 보세요. 향상 폭은 모델에 따라 크게 달라집니다.

4클러스터에서 네트워크로

클러스터는 책상 위 몇 대의 Mac을 케이블로 묶습니다. MLX Network는 인터넷으로 모든 곳의 Mac을 묶습니다. 인터넷 지연 시간은 낯선 사람들의 Mac에 모델 하나를 나누기에는 너무 길기 때문에, 네트워크는 메모리와 대역폭을 기준으로 각 작업을 Mac 한 대, 또는 이미 케이블로 연결된 Mac 포드 하나에 통째로 배치합니다.

Mac Studio나 여러 대의 Mac mini를 갖고 있다면 MLX Node로 남는 시간을 네트워크에 빌려주고 MLX 토큰을 벌 수 있으며, Ultra Mac에서 돌아가는 Ultra 전용 좌석이 가장 많이 법니다. 네트워크의 모든 Mac은 MLX World에서 볼 수 있습니다.

5자주 묻는 질문

AI용으로 Mac mini를 클러스터로 묶을 수 있나요?

네. M4 Pro 또는 M5 Pro 칩을 탑재한 Mac mini는 Thunderbolt 5를 갖췄고, macOS 26.2 이상에서는 RDMA를 쓸 수 있습니다. M4와 M6 모델은 Thunderbolt 4입니다. MLX distributed와 exo 모두 모델을 여러 대에 나눠 줍니다.

Mac 클러스터로 모델이 더 빨라지나요?

모델을 어떻게 나누느냐에 달려 있습니다. 파이프라인 병렬화는 주로 더 큰 모델을 돌릴 수 있게 해 주고, RDMA를 통한 텐서 병렬화는 생성 속도도 높여 줍니다. Apple은 Mac Studio 4대에서 최대 3배 빠르다고 밝혔습니다.

Thunderbolt 5가 꼭 필요한가요?

RDMA를 쓰려면 필요합니다. 구형 Mac도 Thunderbolt나 이더넷으로 TCP 연결은 할 수 있지만 지연 시간이 훨씬 길어서, 텐서 분할보다 파이프라인 분할이 더 잘 맞습니다.