Mac AI ক্লাস্টার।

1কী বদলেছে: Thunderbolt 5-এ RDMA

macOS 26.2 থেকে Mac RDMA ব্যবহার করে সরাসরি Thunderbolt 5-এ মেমরি আদান-প্রদান করতে পারে, যে ফিচারটির কথা Apple বলেছে MLX দিয়ে ডিস্ট্রিবিউটেড AI ইনফারেন্সের জন্য (Apple)। MLX এটি দেয় তার JACCL ব্যাকএন্ডের মাধ্যমে, MPI ও TCP রিংয়ের পাশাপাশি (MLX ডকুমেন্টেশন)।

লাভটা ল্যাটেন্সিতে: MLX-এর ডেভেলপারদের মতে, RDMA মেমরি অ্যাক্সেসের ল্যাটেন্সি প্রায় 300 µs থেকে 50 µs-এর নিচে নামায়। Jeff Geerling-এর পরীক্ষায় চারটি M3 Ultra Mac Studio 1 ট্রিলিয়ন প্যারামিটারের Kimi K2 Thinking প্রতি সেকেন্ডে প্রায় 30 টোকেনে চালিয়েছে (Jeff Geerling)।

2মডেল ভাগ করার দুটি উপায়

পাইপলাইন প্যারালেলিজম প্রতিটি Mac-কে পরপর কয়েকটি লেয়ার দেয়। এতে যেকোনো একক Mac-এর চেয়ে বড় মডেলও চালানো যায়, আর লম্বা প্রম্পট সমান্তরাল টুকরোয় প্রসেস করা যায়, কিন্তু জেনারেশন মোটামুটি এক Mac-এর মতোই দ্রুত থাকে।

টেনসর প্যারালেলিজম প্রতিটি লেয়ারকে Mac-গুলোর মধ্যে ভাগ করে। এতে জেনারেশনও দ্রুত হয়, কিন্তু প্রতি টোকেনে Mac-গুলো বহুবার ডেটা আদান-প্রদান করে, তাই RDMA-র কম ল্যাটেন্সি দরকার। Apple Mac Studio ক্লাস্টারে দুটিরই মাপ প্রকাশ করেছে (Apple Machine Learning Research), এবং জানিয়েছে চারটি Mac Studio একটির চেয়ে সর্বোচ্চ তিন গুণ দ্রুত ইনফারেন্স চালায় (Apple)।

3ক্লাস্টার বানানো

1. RDMA-র জন্য Thunderbolt 5-যুক্ত Mac বেছে নিন: M4 Pro, M4 Max, M3 Ultra এবং পরের Pro, Max ও Ultra চিপ। একই রকম Mac হলে ভাগ করা সবচেয়ে সহজ।
2. Thunderbolt 5 কেবল দিয়ে প্রতিটি জোড়াকে সরাসরি যুক্ত করুন। এক জোড়ার মধ্যে দুটি কেবল লিংকের ব্যান্ডউইথ দ্বিগুণ করে।
3. প্রতিটি Mac macOS 26.2 বা তার পরের সংস্করণে আপডেট করুন এবং Apple-এর ডকুমেন্টেশন অনুযায়ী RDMA চালু করুন।
4. মডেল চালান MLX distributed (mlx.launch) বা exo দিয়ে, যা Mac-গুলো খুঁজে নিয়ে আপনার হয়ে মডেল ভাগ করে।

exo দুটি ডিভাইসে সর্বোচ্চ 1.8 গুণ আর চারটিতে 3.2 গুণ টেনসর-প্যারালেল গতিবৃদ্ধির কথা জানায়। নিজের সেটআপ মেপে দেখুন: লাভ অনেকটাই মডেলের ওপর নির্ভর করে।

4ক্লাস্টার থেকে নেটওয়ার্ক

ক্লাস্টার কেবল দিয়ে এক ডেস্কের কয়েকটি Mac জোড়ে। MLX Network ইন্টারনেটে সব জায়গার Mac জোড়ে। অচেনা মানুষের Mac-এ একটি মডেল ভাগ করার জন্য ইন্টারনেটের ল্যাটেন্সি অনেক বেশি, তাই নেটওয়ার্ক মেমরি আর ব্যান্ডউইথ অনুযায়ী প্রতিটি জব পুরোটাই একটি Mac-এ রাখে, বা আগে থেকেই কেবলে জোড়া Mac-এর একটি পডে।

আপনার কাছে Mac Studio বা কয়েকটি Mac mini থাকলে MLX Node সেগুলোর অব্যবহৃত সময় নেটওয়ার্ককে দিয়ে MLX টোকেন আয় করতে পারে, আর Ultra Mac-এ চলা একটি Ultra ডেডিকেটেড সিট সবচেয়ে বেশি আয় করে। নেটওয়ার্কের প্রতিটি Mac দেখুন MLX World-এ।

5প্রশ্নোত্তর

AI-এর জন্য কি Mac mini দিয়ে ক্লাস্টার বানানো যায়?

হ্যাঁ। M4 Pro বা M5 Pro চিপের Mac mini-তে Thunderbolt 5 আছে, আর macOS 26.2 বা পরের সংস্করণে সেগুলো RDMA ব্যবহার করতে পারে; M4 ও M6 মডেলে আছে Thunderbolt 4। MLX distributed ও exo দুটিই মডেলকে সেগুলোর মধ্যে ভাগ করে।

Mac ক্লাস্টার কি মডেল দ্রুত করে?

নির্ভর করে মডেল কীভাবে ভাগ হচ্ছে তার ওপর। পাইপলাইন প্যারালেলিজম মূলত বড় মডেল চালাতে দেয়; RDMA-তে টেনসর প্যারালেলিজম জেনারেশনও দ্রুত করে। Apple জানিয়েছে চারটি Mac Studio-তে সর্বোচ্চ তিন গুণ দ্রুত।

আমার কি Thunderbolt 5 লাগবে?

RDMA-র জন্য, হ্যাঁ। পুরোনো Mac-ও Thunderbolt বা Ethernet-এ TCP দিয়ে জোড়া যায়, কিন্তু ল্যাটেন্সি অনেক বেশি, তাই টেনসর ভাগের চেয়ে পাইপলাইন ভাগ ভালো কাজ করে।