Mac AI کلسٹرز۔

1کیا بدلا: Thunderbolt 5 پر RDMA

macOS 26.2 سے، Mac، Thunderbolt 5 پر RDMA کے ذریعے براہ راست میموری کا تبادلہ کر سکتے ہیں، ایک ایسا فیچر جسے Apple نے MLX کے ساتھ ڈسٹری بیوٹڈ AI انفرنس کے لیے بتایا ہے (Apple)۔ MLX اسے اپنے JACCL بیک اینڈ کے ذریعے فراہم کرتا ہے، MPI اور TCP رنگز کے ساتھ (MLX دستاویزات)۔

فائدہ لیٹنسی میں ہے: MLX کے ڈیولپرز کے مطابق، RDMA میموری تک رسائی کی لیٹنسی تقریباً 300 µs سے گھٹا کر 50 µs سے کم کر دیتا ہے۔ Jeff Geerling کے ٹیسٹس میں، چار M3 Ultra Mac Studio نے 1 ٹریلین پیرامیٹرز والا Kimi K2 Thinking تقریباً 30 ٹوکن فی سیکنڈ پر چلایا (Jeff Geerling)۔

2ماڈل تقسیم کرنے کے دو طریقے

پائپ لائن پیرالیلزم ہر Mac کو مسلسل لیئرز کا ایک حصہ دیتا ہے۔ اس سے کسی بھی ایک Mac سے بڑا ماڈل چل تو پاتا ہے، اور لمبے پرامپٹس متوازی ٹکڑوں میں پروسیس ہو سکتے ہیں، لیکن جنریشن تقریباً ایک Mac جتنی ہی تیز رہتی ہے۔

ٹینسر پیرالیلزم ہر لیئر کو تمام Mac میں تقسیم کرتا ہے۔ اس سے جنریشن بھی تیز ہوتی ہے، لیکن Mac فی ٹوکن کئی بار ڈیٹا کا تبادلہ کرتے ہیں، اس لیے اسے RDMA کی کم لیٹنسی چاہیے۔ Apple نے Mac Studio کلسٹرز پر دونوں کی پیمائشیں شائع کی ہیں (Apple Machine Learning Research)، اور کہتا ہے کہ چار Mac Studio ایک کے مقابلے میں انفرنس تین گنا تک تیز چلاتے ہیں (Apple)۔

3کلسٹر بنانا

1. RDMA کے لیے Thunderbolt 5 والے Mac چنیں: M4 Pro، M4 Max، M3 Ultra اور بعد کی Pro، Max اور Ultra چپس۔ ایک جیسے Mac تقسیم کو سب سے آسان بناتے ہیں۔
2. انہیں Thunderbolt 5 کیبلز سے جوڑیں، ہر جوڑا براہ راست۔ ایک جوڑے کے درمیان دو کیبلز لنک کی بینڈوڈتھ دگنی کر دیتی ہیں۔
3. ہر Mac کو macOS 26.2 یا نئے ورژن پر اپ ڈیٹ کریں اور Apple کی دستاویزات کے مطابق RDMA آن کریں۔
4. ماڈل کو MLX distributed (mlx.launch) سے یا exo سے چلائیں، جو Mac خود ڈھونڈ کر ماڈل آپ کے لیے تقسیم کر دیتا ہے۔

exo دو ڈیوائسز پر 1.8 گنا اور چار پر 3.2 گنا تک ٹینسر پیرالیل رفتار میں اضافہ بتاتا ہے۔ اپنے سیٹ اپ کی خود پیمائش کریں: فائدہ بہت حد تک ماڈل پر منحصر ہے۔

4کلسٹر سے نیٹ ورک تک

کلسٹر ایک میز پر چند Mac کو کیبلز سے جوڑتا ہے۔ MLX Network ہر جگہ کے Mac کو انٹرنیٹ پر جوڑتا ہے۔ چونکہ انٹرنیٹ کی لیٹنسی اتنی زیادہ ہے کہ ایک ماڈل اجنبیوں کے Mac میں تقسیم نہیں کیا جا سکتا، نیٹ ورک ہر کام کو پورا کا پورا ایک Mac پر، یا پہلے سے کیبلز سے جڑے Mac کے ایک پوڈ پر، میموری اور بینڈوڈتھ کے حساب سے دیتا ہے۔

اگر آپ کے پاس Mac Studio یا Mac mini کا ایک ڈھیر ہے تو MLX Node ان کا فارغ وقت نیٹ ورک کو دے کر MLX ٹوکن کما سکتا ہے، اور Ultra Mac پر چلنے والی Ultra مخصوص سیٹ سب سے زیادہ کماتی ہے۔ نیٹ ورک کا ہر Mac MLX World پر دیکھیں۔

5سوالات

کیا میں AI کے لیے Mac mini کا کلسٹر بنا سکتا ہوں؟

ہاں۔ M4 Pro یا M5 Pro چپ والے Mac mini میں Thunderbolt 5 ہے، اور macOS 26.2 یا نئے ورژن کے ساتھ وہ RDMA استعمال کر سکتے ہیں؛ M4 اور M6 ماڈلز میں Thunderbolt 4 ہے۔ MLX distributed اور exo دونوں ایک ماڈل کو ان میں تقسیم کرتے ہیں۔

کیا Mac کلسٹر سے ماڈل تیز ہو جاتا ہے؟

یہ اس پر منحصر ہے کہ ماڈل کیسے تقسیم ہوا۔ پائپ لائن پیرالیلزم زیادہ تر بڑے ماڈلز کو چلنے دیتا ہے؛ RDMA پر ٹینسر پیرالیلزم جنریشن بھی تیز کرتا ہے۔ Apple چار Mac Studio پر تین گنا تک تیز رفتار بتاتا ہے۔

کیا مجھے Thunderbolt 5 چاہیے؟

RDMA کے لیے، ہاں۔ پرانے Mac اب بھی TCP کے ساتھ Thunderbolt یا Ethernet پر جوڑے جا سکتے ہیں، لیکن لیٹنسی کہیں زیادہ ہوتی ہے، اس لیے پائپ لائن تقسیم ٹینسر تقسیم سے بہتر کام کرتی ہے۔