Mac AI क्लस्टर।

1क्या बदला: Thunderbolt 5 पर RDMA

macOS 26.2 से Mac, Thunderbolt 5 पर RDMA के ज़रिए सीधे मेमोरी का लेन-देन कर सकते हैं, एक ऐसी सुविधा जिसे Apple ने MLX के साथ डिस्ट्रिब्यूटेड AI इन्फ़रेंस के लिए बताया है (Apple)। MLX इसे अपने JACCL बैकएंड से उपलब्ध कराता है, MPI और TCP रिंग के साथ (MLX docs)।

फ़ायदा लेटेंसी में है: MLX के डेवलपर्स के मुताबिक, RDMA मेमोरी एक्सेस लेटेंसी को लगभग 300 µs से घटाकर 50 µs से कम कर देता है। Jeff Geerling के टेस्ट में, चार M3 Ultra Mac Studio ने 1 ट्रिलियन पैरामीटर वाला Kimi K2 Thinking लगभग 30 टोकन प्रति सेकंड पर चलाया (Jeff Geerling)।

2मॉडल बाँटने के दो तरीके

पाइपलाइन पैरेललिज़्म हर Mac को लगातार लेयर का एक हिस्सा देता है। इससे किसी भी एक Mac से बड़ा मॉडल चल पाता है, और लंबे प्रॉम्प्ट समानांतर टुकड़ों में प्रोसेस हो सकते हैं, पर जनरेशन लगभग एक Mac जितना ही तेज़ होता है।

टेंसर पैरेललिज़्म हर लेयर को सभी Mac में बाँट देता है। इससे जनरेशन भी तेज़ होता है, पर Mac हर टोकन पर कई बार डेटा का लेन-देन करते हैं, इसलिए इसे RDMA की कम लेटेंसी चाहिए। Apple ने Mac Studio क्लस्टर पर दोनों के माप प्रकाशित किए हैं (Apple Machine Learning Research), और कहा है कि चार Mac Studio एक के मुकाबले तीन गुना तक तेज़ इन्फ़रेंस चलाते हैं (Apple)।

3क्लस्टर बनाना

1. RDMA के लिए Thunderbolt 5 वाले Mac चुनें: M4 Pro, M4 Max, M3 Ultra और बाद की Pro, Max और Ultra चिप। एक जैसे Mac हों तो मॉडल बाँटना सबसे आसान होता है।
2. उन्हें Thunderbolt 5 केबल से जोड़ें, हर जोड़ी को सीधे। एक जोड़ी के बीच दो केबल लिंक की बैंडविड्थ दोगुनी कर देती हैं।
3. हर Mac को macOS 26.2 या बाद के वर्ज़न पर अपडेट करें और Apple के डॉक्यूमेंटेशन के मुताबिक RDMA चालू करें।
4. मॉडल को MLX distributed (mlx.launch) से या exo से चलाएँ, जो Mac को खुद खोजकर आपके लिए मॉडल बाँट देता है।

exo के मुताबिक टेंसर-पैरेलल से दो डिवाइस पर 1.8 गुना और चार पर 3.2 गुना तक स्पीडअप मिलता है। अपना सेटअप खुद मापें: फ़ायदा काफ़ी हद तक मॉडल पर निर्भर करता है।

4क्लस्टर से नेटवर्क तक

क्लस्टर एक डेस्क पर कुछ Mac को केबल से जोड़ता है। MLX Network इंटरनेट पर हर जगह के Mac जोड़ता है। इंटरनेट की लेटेंसी इतनी ज़्यादा है कि एक मॉडल को अनजान लोगों के Mac में नहीं बाँटा जा सकता, इसलिए नेटवर्क हर जॉब को मेमोरी और बैंडविड्थ के हिसाब से पूरा का पूरा एक Mac पर, या पहले से केबल से जुड़े Mac के पॉड पर रखता है।

अगर आपके पास Mac Studio या कई Mac mini हैं, तो MLX Node उनका खाली समय नेटवर्क को देकर MLX टोकन कमा सकता है, और Ultra Mac पर चलने वाली Ultra डेडिकेटेड सीट सबसे ज़्यादा कमाती है। नेटवर्क का हर Mac MLX World पर देखें।

5सवाल

क्या AI के लिए Mac mini का क्लस्टर बना सकते हैं?

हाँ। M4 Pro या M5 Pro चिप वाले Mac mini में Thunderbolt 5 है, और macOS 26.2 या बाद के वर्ज़न पर वे RDMA इस्तेमाल कर सकते हैं; M4 और M6 मॉडल में Thunderbolt 4 है। MLX distributed और exo, दोनों उन पर मॉडल बाँट देते हैं।

क्या Mac क्लस्टर से मॉडल तेज़ चलता है?

यह इस पर निर्भर करता है कि मॉडल कैसे बाँटा गया है। पाइपलाइन पैरेललिज़्म मुख्य रूप से बड़े मॉडल चलाने देता है; RDMA पर टेंसर पैरेललिज़्म जनरेशन भी तेज़ करता है। Apple के मुताबिक चार Mac Studio पर तीन गुना तक तेज़।

क्या मुझे Thunderbolt 5 चाहिए?

RDMA के लिए, हाँ। पुराने Mac अब भी TCP के साथ Thunderbolt या Ethernet पर जोड़े जा सकते हैं, पर लेटेंसी बहुत ज़्यादा होती है, इसलिए वहाँ पाइपलाइन बँटवारा टेंसर बँटवारे से बेहतर चलता है।