کلاسترهای هوش مصنوعی Mac.

1چه چیزی تغییر کرد: RDMA روی Thunderbolt 5

از macOS 26.2، Macها می‌توانند با RDMA مستقیماً روی Thunderbolt 5 حافظه رد و بدل کنند؛ قابلیتی که Apple آن را برای استنتاج توزیع‌شدهٔ هوش مصنوعی با MLX معرفی می‌کند (Apple). MLX آن را از طریق بک‌اند JACCL، در کنار MPI و حلقه‌های TCP، در اختیار می‌گذارد (مستندات MLX).

دستاورد اصلی تأخیر است: به گفتهٔ توسعه‌دهندگان MLX، RDMA تأخیر دسترسی به حافظه را از حدود 300 µs به زیر 50 µs می‌رساند. در آزمون‌های Jeff Geerling، چهار Mac Studio با M3 Ultra مدل یک‌تریلیون‌پارامتری Kimi K2 Thinking را با حدود 30 توکن در ثانیه اجرا کردند (Jeff Geerling).

2دو روش برای تقسیم یک مدل

موازی‌سازی خط لوله (Pipeline parallelism) به هر Mac یک دسته از لایه‌های پشت‌سرهم می‌دهد. اجرای مدلی بزرگ‌تر از هر Mac تکی را اصلاً ممکن می‌کند و پرامپت‌های طولانی را می‌توان در تکه‌های موازی پردازش کرد، اما تولید تقریباً به سرعت یک Mac است.

موازی‌سازی تنسور (Tensor parallelism) هر لایه را بین Macها تقسیم می‌کند. تولید را هم سریع‌تر می‌کند، اما Macها برای هر توکن بارها داده رد و بدل می‌کنند، پس به تأخیر کم RDMA نیاز دارد. Apple اندازه‌گیری‌های هر دو روش را روی کلاسترهای Mac Studio منتشر کرده (Apple Machine Learning Research) و می‌گوید چهار Mac Studio استنتاج را تا سه برابر سریع‌تر از یکی اجرا می‌کنند (Apple).

3ساختن یک کلاستر

1. برای RDMA، Macهای دارای Thunderbolt 5 را انتخاب کنید: M4 Pro، M4 Max، M3 Ultra و تراشه‌های جدیدتر Pro، Max و Ultra. Macهای یکسان تقسیم را ساده‌تر می‌کنند.
2. آن‌ها را با کابل Thunderbolt 5 وصل کنید، هر جفت مستقیم. دو کابل بین یک جفت، پهنای باند اتصال را دو برابر می‌کند.
3. همهٔ Macها را به macOS 26.2 یا جدیدتر به‌روز کنید و RDMA را طبق مستندات Apple فعال کنید.
4. مدل را با MLX distributed (mlx.launch) یا با exo اجرا کنید که Macها را پیدا می‌کند و مدل را برایتان تقسیم می‌کند.

exo افزایش سرعت موازی‌سازی تنسور را تا 1.8 برابر روی دو دستگاه و 3.2 برابر روی چهار دستگاه گزارش می‌کند. چیدمان خودتان را بسنجید: دستاوردها به‌شدت به مدل بستگی دارد.

4از کلاستر تا شبکه

یک کلاستر چند Mac را روی یک میز با کابل به هم وصل می‌کند. MLX Network، Macها را در همه‌جا از طریق اینترنت به هم وصل می‌کند. چون تأخیر اینترنت برای تقسیم یک مدل بین Macهای غریبه بسیار زیاد است، شبکه هر کار را به‌طور کامل روی یک Mac، یا روی یک پاد از Macهایی که از قبل با کابل به هم وصل‌اند، بر اساس حافظه و پهنای باند قرار می‌دهد.

اگر یک Mac Studio یا چند Mac mini دارید، MLX Node می‌تواند وقت آزادشان را به شبکه قرض دهد و توکن MLX به دست آورد، و یک جایگاه اختصاصی Ultra که روی یک Mac با تراشهٔ Ultra کار می‌کند بیشترین درآمد را دارد. همهٔ Macهای شبکه را روی MLX World ببینید.

5پرسش‌ها

آیا می‌توانم از Mac miniها برای هوش مصنوعی کلاستر بسازم؟

بله. Mac miniهای دارای تراشهٔ M4 Pro یا M5 Pro، Thunderbolt 5 دارند و با macOS 26.2 یا جدیدتر می‌توانند از RDMA استفاده کنند؛ مدل‌های M4 و M6، Thunderbolt 4 دارند. MLX distributed و exo هر دو یک مدل را بین آن‌ها تقسیم می‌کنند.

آیا کلاستر Mac یک مدل را سریع‌تر می‌کند؟

به نحوهٔ تقسیم مدل بستگی دارد. موازی‌سازی خط لوله بیشتر اجرای مدل‌های بزرگ‌تر را ممکن می‌کند؛ موازی‌سازی تنسور روی RDMA تولید را هم سریع‌تر می‌کند. Apple روی چهار Mac Studio تا سه برابر سرعت بیشتر را اعلام کرده است.

آیا به Thunderbolt 5 نیاز دارم؟

برای RDMA، بله. Macهای قدیمی‌تر را هنوز می‌توان با Thunderbolt یا Ethernet و TCP به هم وصل کرد، اما تأخیر بسیار بیشتر است، پس تقسیم خط لوله بهتر از تقسیم تنسور جواب می‌دهد.