Mac AI క్లస్టర్‌లు.

1ఏం మారింది: Thunderbolt 5పై RDMA

macOS 26.2 నుండి, Macలు RDMA ఉపయోగించి Thunderbolt 5 ద్వారా నేరుగా మెమరీని మార్చుకోగలవు; MLXతో distributed AI ఇన్ఫరెన్స్ కోసమని Apple పేర్కొన్న ఫీచర్ ఇది (Apple). MLX దీన్ని తన JACCL బ్యాకెండ్ ద్వారా అందిస్తుంది, MPI, TCP రింగ్‌లతో పాటు (MLX డాక్స్).

లాభం లేటెన్సీలో: MLX డెవలపర్‌ల ప్రకారం, RDMA మెమరీ యాక్సెస్ లేటెన్సీని సుమారు 300 µs నుండి 50 µs కిందకు తగ్గిస్తుంది. Jeff Geerling చేసిన పరీక్షల్లో, నాలుగు M3 Ultra Mac Studioలు 1 ట్రిలియన్ పారామీటర్‌ల Kimi K2 Thinkingను సెకనుకు సుమారు 30 టోకెన్‌లతో నడిపాయి (Jeff Geerling).

2మోడల్‌ను విభజించే రెండు మార్గాలు

పైప్‌లైన్ ప్యారలలిజం ప్రతి Macకు వరుసగా ఉన్న కొన్ని లేయర్‌లను ఇస్తుంది. ఏ ఒక్క Mac కంటే పెద్ద మోడల్‌ను అసలు నడపడానికి ఇది ఉపయోగపడుతుంది, పొడవైన ప్రాంప్ట్‌లను సమాంతర ముక్కలుగా ప్రాసెస్ చేయవచ్చు, కానీ జనరేషన్ దాదాపు ఒక్క Mac వేగంలోనే ఉంటుంది.

టెన్సర్ ప్యారలలిజం ప్రతి లేయర్‌ను Macల మధ్య విభజిస్తుంది. ఇది జనరేషన్‌నూ వేగవంతం చేస్తుంది, కానీ ప్రతి టోకెన్‌కు Macలు చాలాసార్లు డేటా మార్చుకుంటాయి, కాబట్టి దీనికి RDMA తక్కువ లేటెన్సీ కావాలి. Mac Studio క్లస్టర్‌లపై రెండింటి కొలతలను Apple ప్రచురించింది (Apple Machine Learning Research); నాలుగు Mac Studioలు ఒక్కదాని కంటే మూడు రెట్ల వరకు వేగంగా ఇన్ఫరెన్స్ నడుపుతాయని కూడా చెబుతోంది (Apple).

3క్లస్టర్ నిర్మించడం

1. RDMA కోసం Thunderbolt 5 ఉన్న Macలను ఎంచుకోండి: M4 Pro, M4 Max, M3 Ultra, ఆ తర్వాతి Pro, Max, Ultra చిప్‌లు. ఒకే రకమైన Macలు విభజనను సులభం చేస్తాయి.
2. ప్రతి జంటను నేరుగా Thunderbolt 5 కేబుల్‌లతో కలపండి. ఒక జంట మధ్య రెండు కేబుల్‌లు ఆ లింక్ బ్యాండ్‌విడ్త్‌ను రెట్టింపు చేస్తాయి.
3. ప్రతి Macను macOS 26.2 లేదా ఆ తర్వాతి వెర్షన్‌కు అప్‌డేట్ చేసి, Apple డాక్యుమెంటేషన్‌లో చెప్పినట్లు RDMA ఆన్ చేయండి.
4. MLX distributed (mlx.launch)తో గానీ, Macలను కనుగొని మీ కోసం మోడల్‌ను విభజించే exoతో గానీ మోడల్ నడపండి.

exo టెన్సర్-ప్యారలల్ పద్ధతిలో రెండు డివైస్‌లపై 1.8 రెట్ల వరకు, నాలుగింటిపై 3.2 రెట్ల వరకు వేగ పెరుగుదలను చెబుతోంది. మీ సొంత సెటప్‌ను కొలవండి: లాభం మోడల్‌పై చాలా ఆధారపడుతుంది.

4క్లస్టర్ నుండి నెట్‌వర్క్‌కు

క్లస్టర్ ఒకే డెస్క్‌పై ఉన్న కొన్ని Macలను కేబుల్‌లతో కలుపుతుంది. MLX Network ఇంటర్నెట్ ద్వారా ప్రతిచోటా ఉన్న Macలను కలుపుతుంది. అపరిచితుల Macలపై ఒక మోడల్‌ను విభజించడానికి ఇంటర్నెట్ లేటెన్సీ చాలా ఎక్కువ; అందుకే నెట్‌వర్క్ ప్రతి పనిని పూర్తిగా ఒకే Macపై గానీ, ఇప్పటికే కేబుల్‌లతో కలిపిన Macల పాడ్‌పై గానీ, మెమరీ, బ్యాండ్‌విడ్త్‌ను బట్టి కేటాయిస్తుంది.

మీ దగ్గర Mac Studio లేదా Mac miniల స్టాక్ ఉంటే, MLX Node వాటి ఖాళీ సమయాన్ని నెట్‌వర్క్‌కు ఇచ్చి MLX టోకెన్‌లు సంపాదించగలదు; Ultra Macపై నడిచే Ultra ప్రత్యేక సీటు అత్యధికంగా సంపాదిస్తుంది. నెట్‌వర్క్‌లోని ప్రతి Macను MLX Worldలో చూడండి.

5ప్రశ్నలు

AI కోసం Mac miniలను క్లస్టర్ చేయవచ్చా?

అవును. M4 Pro లేదా M5 Pro చిప్ ఉన్న Mac miniలలో Thunderbolt 5 ఉంది; macOS 26.2 లేదా ఆ తర్వాతి వెర్షన్‌తో అవి RDMA వాడగలవు. M4, M6 మోడల్‌లలో Thunderbolt 4 ఉంది. MLX distributed, exo రెండూ వాటిపై ఒక మోడల్‌ను విభజిస్తాయి.

Mac క్లస్టర్ మోడల్‌ను వేగవంతం చేస్తుందా?

మోడల్‌ను ఎలా విభజిస్తారనే దానిపై ఆధారపడుతుంది. పైప్‌లైన్ ప్యారలలిజం ప్రధానంగా పెద్ద మోడల్‌లను నడపనిస్తుంది; RDMAపై టెన్సర్ ప్యారలలిజం జనరేషన్‌నూ వేగవంతం చేస్తుంది. నాలుగు Mac Studioలపై మూడు రెట్ల వరకు వేగమని Apple చెబుతోంది.

నాకు Thunderbolt 5 కావాలా?

RDMA కోసం, అవును. పాత Macలను కూడా Thunderbolt లేదా Ethernet ద్వారా TCPతో కలపవచ్చు, కానీ లేటెన్సీ చాలా ఎక్కువ, కాబట్టి టెన్సర్ విభజన కంటే పైప్‌లైన్ విభజన బాగా పనిచేస్తుంది.