Mac AI क्लस्टर.

1काय बदलले: Thunderbolt 5 वर RDMA

macOS 26.2 पासून Mac, Thunderbolt 5 वरून RDMA वापरून थेट मेमरीची देवाणघेवाण करू शकतात, आणि Apple ने हे वैशिष्ट्य MLX सोबत डिस्ट्रिब्युटेड AI इन्फरन्ससाठी असल्याचे म्हटले आहे (Apple). MLX हे आपल्या JACCL बॅकएंडमधून उपलब्ध करते, MPI आणि TCP रिंगसोबत (MLX docs).

फायदा लेटन्सीत आहे: MLX च्या डेव्हलपर्सनुसार, RDMA मेमरी ॲक्सेस लेटन्सी सुमारे 300 µs वरून 50 µs च्या खाली आणते. Jeff Geerling यांच्या चाचण्यांमध्ये, चार M3 Ultra Mac Studio नी 1 ट्रिलियन पॅरामीटरचे Kimi K2 Thinking सुमारे 30 टोकन प्रति सेकंद वेगाने चालवले (Jeff Geerling).

2मॉडेल विभागण्याचे दोन मार्ग

पाइपलाइन पॅरललिझम प्रत्येक Mac ला सलग लेयरचा एक भाग देते. यामुळे कोणत्याही एका Mac पेक्षा मोठे मॉडेल चालू शकते, आणि लांब प्रॉम्प्ट समांतर तुकड्यांमध्ये प्रोसेस होऊ शकतात, पण जनरेशनचा वेग साधारण एका Mac इतकाच राहतो.

टेन्सर पॅरललिझम प्रत्येक लेयर सर्व Mac मध्ये विभागते. यामुळे जनरेशनही वेगवान होते, पण Mac प्रत्येक टोकनमागे अनेकदा डेटाची देवाणघेवाण करतात, त्यामुळे याला RDMA ची कमी लेटन्सी लागते. Apple ने Mac Studio क्लस्टरवर दोन्हींचे मापन प्रसिद्ध केले आहे (Apple Machine Learning Research), आणि चार Mac Studio एकापेक्षा तीन पटींपर्यंत वेगाने इन्फरन्स चालवतात असे म्हटले आहे (Apple).

3क्लस्टर बनवणे

1. RDMA साठी Thunderbolt 5 असलेले Mac निवडा: M4 Pro, M4 Max, M3 Ultra आणि नंतरच्या Pro, Max आणि Ultra चिप. सारखे Mac असले तर मॉडेल विभागणे सर्वात सोपे जाते.
2. ते Thunderbolt 5 केबलने जोडा, प्रत्येक जोडी थेट. एका जोडीमध्ये दोन केबल लावल्यास लिंकची बँडविड्थ दुप्पट होते.
3. प्रत्येक Mac macOS 26.2 किंवा नंतरच्या आवृत्तीवर अपडेट करा आणि Apple च्या डॉक्युमेंटेशननुसार RDMA चालू करा.
4. मॉडेल MLX distributed (mlx.launch) ने किंवा exo ने चालवा, जे Mac स्वतः शोधते आणि तुमच्यासाठी मॉडेल विभागते.

exo नुसार टेन्सर-पॅरलल पद्धतीने दोन डिव्हाइसवर 1.8 पट आणि चारवर 3.2 पटींपर्यंत वेगवाढ मिळते. तुमचा सेटअप स्वतः मोजा: फायदा मोठ्या प्रमाणात मॉडेलवर अवलंबून असतो.

4क्लस्टरपासून नेटवर्कपर्यंत

क्लस्टर एका डेस्कवरचे काही Mac केबलने जोडतो. MLX Network इंटरनेटवरून सगळीकडचे Mac जोडते. इंटरनेटची लेटन्सी इतकी जास्त आहे की एक मॉडेल अनोळखी लोकांच्या Mac मध्ये विभागता येत नाही, त्यामुळे नेटवर्क प्रत्येक जॉब मेमरी आणि बँडविड्थनुसार संपूर्णपणे एकाच Mac वर, किंवा आधीच केबलने जोडलेल्या Mac च्या पॉडवर देते.

तुमच्याकडे Mac Studio किंवा अनेक Mac mini असतील, तर MLX Node त्यांचा रिकामा वेळ नेटवर्कला देऊन MLX टोकन कमावू शकते, आणि Ultra Mac वर चालणारी Ultra समर्पित सीट सर्वाधिक कमावते. नेटवर्कवरील प्रत्येक Mac MLX World वर पाहा.

5प्रश्न

AI साठी Mac mini चा क्लस्टर बनवता येतो का?

हो. M4 Pro किंवा M5 Pro चिप असलेल्या Mac mini मध्ये Thunderbolt 5 आहे, आणि macOS 26.2 किंवा नंतरच्या आवृत्तीवर ते RDMA वापरू शकतात; M4 आणि M6 मॉडेलमध्ये Thunderbolt 4 आहे. MLX distributed आणि exo दोन्ही त्यांच्यावर मॉडेल विभागतात.

Mac क्लस्टरमुळे मॉडेल वेगाने चालते का?

मॉडेल कसे विभागले आहे यावर अवलंबून आहे. पाइपलाइन पॅरललिझम मुख्यतः मोठी मॉडेल चालवू देते; RDMA वरील टेन्सर पॅरललिझम जनरेशनही वेगवान करते. Apple नुसार चार Mac Studio वर तीन पटींपर्यंत वेगवान.

मला Thunderbolt 5 लागेल का?

RDMA साठी, हो. जुने Mac अजूनही TCP सह Thunderbolt किंवा Ethernet वरून जोडता येतात, पण लेटन्सी खूप जास्त असते, त्यामुळे तिथे पाइपलाइन विभागणी टेन्सर विभागणीपेक्षा चांगली चालते.