Mac AI ક્લસ્ટર.

1શું બદલાયું: Thunderbolt 5 પર RDMA

macOS 26.2થી Mac RDMAનો ઉપયોગ કરીને Thunderbolt 5 પર સીધી મેમરીની આપ-લે કરી શકે છે, અને Apple આ ફીચર MLX સાથે ડિસ્ટ્રિબ્યુટેડ AI ઇન્ફરન્સ માટે ખાસ ગણાવે છે (Apple). MLX તેને MPI અને TCP રિંગની સાથે પોતાના JACCL બૅકએન્ડ દ્વારા આપે છે (MLX ડૉક્સ).

ફાયદો લેટન્સીમાં છે: MLXના ડેવલપર્સ મુજબ RDMA મેમરી-ઍક્સેસ લેટન્સી આશરે 300 µsથી ઘટાડીને 50 µsથી ઓછી કરે છે. Jeff Geerlingના ટેસ્ટમાં ચાર M3 Ultra Mac Studioએ 1 ટ્રિલિયન પૅરામીટરવાળું Kimi K2 Thinking પ્રતિ સેકન્ડ આશરે 30 ટોકનની ઝડપે ચલાવ્યું (Jeff Geerling).

2મૉડલ વહેંચવાની બે રીત

પાઇપલાઇન પૅરેલલિઝમ દરેક Macને લગાતાર લેયરનો એક ભાગ આપે છે. તેનાથી કોઈ પણ એક Mac કરતાં મોટું મૉડલ ચાલી શકે છે, અને લાંબા પ્રૉમ્પ્ટ સમાંતર ટુકડામાં પ્રોસેસ થઈ શકે છે, પણ જનરેશન આશરે એક Mac જેટલું જ ઝડપી રહે છે.

ટેન્સર પૅરેલલિઝમ દરેક લેયરને Mac વચ્ચે વહેંચે છે. તે જનરેશન પણ ઝડપી બનાવે છે, પણ Mac દરેક ટોકન માટે ઘણી વાર ડેટાની આપ-લે કરે છે, એટલે તેને RDMAની ઓછી લેટન્સી જોઈએ. Appleએ Mac Studio ક્લસ્ટર પર બંનેનાં માપ પ્રકાશિત કર્યાં છે (Apple Machine Learning Research), અને જણાવે છે કે ચાર Mac Studio એક કરતાં ત્રણ ગણા સુધી ઝડપથી ઇન્ફરન્સ ચલાવે છે (Apple).

3ક્લસ્ટર બનાવવું

1. RDMA માટે Thunderbolt 5વાળાં Mac પસંદ કરો: M4 Pro, M4 Max, M3 Ultra અને પછીની Pro, Max અને Ultra ચિપ. એકસરખાં Mac હોય તો વહેંચણી સૌથી સરળ બને છે.
2. તેમને Thunderbolt 5 કેબલથી જોડો, દરેક જોડીને સીધી. એક જોડી વચ્ચે બે કેબલ લિંકની બૅન્ડવિડ્થ બમણી કરે છે.
3. દરેક Macને macOS 26.2 કે પછીના વર્ઝન પર અપડેટ કરો અને Appleના દસ્તાવેજમાં જણાવ્યા મુજબ RDMA ચાલુ કરો.
4. મૉડલ MLX distributed (mlx.launch) કે exoથી ચલાવો, જે Mac શોધી કાઢે છે અને તમારા માટે મૉડલ વહેંચે છે.

exo બે ડિવાઇસ પર 1.8 ગણા સુધી અને ચાર પર 3.2 ગણા સુધી ટેન્સર-પૅરેલલ સ્પીડઅપ નોંધે છે. તમારું પોતાનું સેટઅપ માપો: ફાયદો મૉડલ પર ઘણો આધાર રાખે છે.

4ક્લસ્ટરથી નેટવર્ક સુધી

ક્લસ્ટર કેબલથી એક ડેસ્ક પરનાં થોડાં Mac જોડે છે. MLX Network ઇન્ટરનેટ પર દરેક જગ્યાનાં Mac જોડે છે. અજાણ્યા લોકોનાં Mac વચ્ચે એક મૉડલ વહેંચવા માટે ઇન્ટરનેટની લેટન્સી ઘણી વધારે છે, એટલે નેટવર્ક દરેક જૉબને મેમરી અને બૅન્ડવિડ્થ મુજબ આખો એક જ Mac પર, અથવા પહેલેથી કેબલથી જોડાયેલાં Macના પૉડ પર મૂકે છે.

તમારી પાસે Mac Studio કે Mac miniનો સ્ટૅક હોય, તો MLX Node તેમનો ફાજલ સમય નેટવર્કને આપીને MLX ટોકન કમાઈ શકે છે, અને Ultra Mac પર ચાલતી Ultra સમર્પિત સીટ સૌથી વધુ કમાય છે. નેટવર્ક પરનું દરેક Mac MLX World પર જુઓ.

5પ્રશ્નો

શું AI માટે Mac miniનું ક્લસ્ટર બનાવી શકાય?

હા. M4 Pro કે M5 Pro ચિપવાળાં Mac miniમાં Thunderbolt 5 છે, અને macOS 26.2 કે પછીના વર્ઝન સાથે તે RDMA વાપરી શકે છે; M4 અને M6 મૉડલમાં Thunderbolt 4 છે. MLX distributed અને exo બંને મૉડલને તેમની વચ્ચે વહેંચે છે.

શું Mac ક્લસ્ટર મૉડલને ઝડપી બનાવે છે?

તે મૉડલ કેવી રીતે વહેંચાય છે તેના પર આધાર રાખે છે. પાઇપલાઇન પૅરેલલિઝમ મુખ્યત્વે મોટાં મૉડલ ચલાવવા દે છે; RDMA પર ટેન્સર પૅરેલલિઝમ જનરેશન પણ ઝડપી બનાવે છે. Apple ચાર Mac Studio પર ત્રણ ગણા સુધી ઝડપ જણાવે છે.

શું મારે Thunderbolt 5 જોઈએ?

RDMA માટે, હા. જૂનાં Mac પણ TCP સાથે Thunderbolt કે Ethernet પર જોડી શકાય, પણ લેટન્સી ઘણી વધારે હોય છે, એટલે ટેન્સર વહેંચણી કરતાં પાઇપલાઇન વહેંચણી સારી ચાલે છે.