Mac AI கிளஸ்டர்கள்.

1என்ன மாறியது: Thunderbolt 5 மூலம் RDMA

macOS 26.2 முதல், Mac-கள் RDMA பயன்படுத்தி Thunderbolt 5 மூலம் நேரடியாக மெமரியைப் பரிமாறிக்கொள்ள முடியும்; MLX உடனான distributed AI இன்ஃபரன்ஸுக்காக என்று Apple குறிப்பிடும் அம்சம் இது (Apple). MLX அதைத் தன் JACCL பேக்எண்ட் மூலம் வழங்குகிறது, MPI, TCP ரிங்குகளுடன் (MLX ஆவணங்கள்).

லாபம் லேட்டன்சியில்: MLX டெவலப்பர்களின் கூற்றுப்படி, RDMA மெமரி அணுகல் லேட்டன்சியை சுமார் 300 µs-இலிருந்து 50 µs-க்குக் கீழே குறைக்கிறது. Jeff Geerling செய்த சோதனைகளில், நான்கு M3 Ultra Mac Studio-க்கள் 1 டிரில்லியன் பாராமீட்டர் Kimi K2 Thinking-ஐ வினாடிக்கு சுமார் 30 டோக்கன்களில் இயக்கின (Jeff Geerling).

2மாடலைப் பிரிக்க இரண்டு வழிகள்

பைப்லைன் பேரலலிசம் ஒவ்வொரு Mac-க்கும் தொடர்ச்சியான லேயர்களின் ஒரு பகுதியைத் தருகிறது. எந்த ஒரு Mac-ஐ விடவும் பெரிய மாடலை இயக்கவே இது உதவுகிறது; நீண்ட ப்ராம்ப்ட்களை இணையான துண்டுகளாகச் செயலாக்கலாம்; ஆனால் ஜெனரேஷன் ஏறக்குறைய ஒரே Mac-இல் உள்ள வேகத்திலேயே இருக்கும்.

டென்சர் பேரலலிசம் ஒவ்வொரு லேயரையும் Mac-களுக்கிடையே பிரிக்கிறது. இது ஜெனரேஷனையும் வேகமாக்குகிறது, ஆனால் ஒவ்வொரு டோக்கனுக்கும் Mac-கள் பலமுறை டேட்டாவைப் பரிமாறிக்கொள்கின்றன; எனவே அதற்கு RDMA-வின் குறைந்த லேட்டன்சி தேவை. Mac Studio கிளஸ்டர்களில் இரண்டின் அளவீடுகளையும் Apple வெளியிட்டுள்ளது (Apple Machine Learning Research); நான்கு Mac Studio-க்கள் ஒன்றை விட மூன்று மடங்கு வரை வேகமாக இன்ஃபரன்ஸ் இயக்குவதாகவும் கூறுகிறது (Apple).

3கிளஸ்டரை உருவாக்குவது

1. RDMA-க்கு Thunderbolt 5 கொண்ட Mac-களைத் தேர்ந்தெடுங்கள்: M4 Pro, M4 Max, M3 Ultra, அதற்குப் பிந்தைய Pro, Max, Ultra சிப்கள். ஒரே மாதிரியான Mac-கள் பிரிப்பை எளிதாக்கும்.
2. ஒவ்வொரு ஜோடியையும் நேரடியாக Thunderbolt 5 கேபிள்களால் இணையுங்கள். ஒரு ஜோடிக்கு இடையே இரண்டு கேபிள்கள் இணைப்பின் பேண்ட்வித்தை இரட்டிப்பாக்கும்.
3. ஒவ்வொரு Mac-ஐயும் macOS 26.2 அல்லது அதற்குப் பிந்தைய பதிப்புக்குப் புதுப்பித்து, Apple-இன் ஆவணங்களில் சொல்லியபடி RDMA-வை இயக்குங்கள்.
4. MLX distributed (mlx.launch) மூலமோ, Mac-களைக் கண்டறிந்து உங்களுக்காக மாடலைப் பிரிக்கும் exo மூலமோ மாடலை இயக்குங்கள்.

exo, டென்சர்-பேரலல் முறையில் இரண்டு சாதனங்களில் 1.8 மடங்கு வரையும், நான்கில் 3.2 மடங்கு வரையும் வேக உயர்வைத் தெரிவிக்கிறது. உங்கள் சொந்த அமைப்பை அளந்து பாருங்கள்: லாபம் மாடலைப் பெரிதும் பொறுத்தது.

4கிளஸ்டரிலிருந்து நெட்வொர்க்குக்கு

ஒரு கிளஸ்டர் ஒரே மேசையில் உள்ள சில Mac-களை கேபிள்களால் இணைக்கிறது. MLX Network இணையம் வழியாக எல்லா இடங்களிலும் உள்ள Mac-களை இணைக்கிறது. அறிமுகமில்லாதவர்களின் Mac-களில் ஒரு மாடலைப் பிரிக்க இணைய லேட்டன்சி மிக அதிகம்; எனவே நெட்வொர்க் ஒவ்வொரு வேலையையும் முழுமையாக ஒரே Mac-இலோ, ஏற்கனவே கேபிள்களால் இணைக்கப்பட்ட Mac-களின் ஒரு பாடிலோ, மெமரி, பேண்ட்வித்தை வைத்து ஒதுக்குகிறது.

உங்களிடம் Mac Studio அல்லது பல Mac mini-கள் இருந்தால், MLX Node அவற்றின் பயன்படாத நேரத்தை நெட்வொர்க்குக்குக் கொடுத்து MLX டோக்கன்களை ஈட்டலாம்; Ultra Mac-இல் இயங்கும் Ultra பிரத்யேக இருக்கை அதிகம் ஈட்டும். நெட்வொர்க்கில் உள்ள ஒவ்வொரு Mac-ஐயும் MLX World-இல் பாருங்கள்.

5கேள்விகள்

AI-க்கு Mac mini-களை கிளஸ்டர் செய்ய முடியுமா?

ஆம். M4 Pro அல்லது M5 Pro சிப் கொண்ட Mac mini-களில் Thunderbolt 5 உள்ளது; macOS 26.2 அல்லது அதற்குப் பிந்தைய பதிப்புடன் அவை RDMA பயன்படுத்தலாம். M4, M6 மாடல்களில் Thunderbolt 4 உள்ளது. MLX distributed, exo இரண்டும் அவற்றில் ஒரு மாடலைப் பிரிக்கின்றன.

Mac கிளஸ்டர் மாடலை வேகமாக்குமா?

மாடல் எப்படிப் பிரிக்கப்படுகிறது என்பதைப் பொறுத்தது. பைப்லைன் பேரலலிசம் முக்கியமாகப் பெரிய மாடல்களை இயக்க உதவுகிறது; RDMA மூலம் டென்சர் பேரலலிசம் ஜெனரேஷனையும் வேகமாக்குகிறது. நான்கு Mac Studio-க்களில் மூன்று மடங்கு வரை வேகம் என Apple கூறுகிறது.

எனக்கு Thunderbolt 5 தேவையா?

RDMA-க்கு, ஆம். பழைய Mac-களையும் Thunderbolt அல்லது Ethernet மூலம் TCP உடன் இணைக்கலாம், ஆனால் லேட்டன்சி மிக அதிகம்; எனவே டென்சர் பிரிப்பை விட பைப்லைன் பிரிப்பு நன்றாக வேலை செய்யும்.