M2 70B மாடலை இயக்குமா?

சுலபமாக முடியாது. 4-பிட்டில் 70B மாடலுக்குச் சுமார் 40 GB தேவை; M2-இல் அதிகபட்சம் 24 GB மட்டுமே உள்ளது. சுமார் 32B பாராமீட்டர்கள் வரையிலான மாடல்கள் நன்றாகப் பொருந்தும்.

M2 வினாடிக்கு எத்தனை டோக்கன்கள் தரும்?

4-பிட்டில் 8B மாடலுக்கு உச்சவரம்பு வினாடிக்குச் சுமார் 22 டோக்கன்கள்; உண்மையான ஓட்டங்கள் அதில் தோராயமாகப் பாதி முதல் ஐந்தில் நான்கு பங்கு வரை எட்டும். பெரிய மாடல்கள் அதே விகிதத்தில் மெதுவாக இயங்கும்.

AI-க்கு M2 நல்லதா?

மாடல்களை லோக்கலாக இயக்க, மெமரியும் பேண்ட்வித்தும்தான் மிக முக்கியம். M2-இல் 100 GB/s வேகத்தில் 24 GB வரை மெமரி உள்ளது; இது சுமார் 32 பில்லியன் பாராமீட்டர்கள் வரையிலான மாடல்களுக்குப் போதும். MLX Node மூலம் MLX Network-க்காக AI வேலைகளை இயக்கி இது ஈட்டவும் முடியும்.

லோக்கல் LLM-க்கு M2: மெமரி, வேகம், மாடல்கள்

1AI-க்கு முக்கியமான ஸ்பெக்குகள்

யூனிஃபைடு மெமரி	24 GB
மெமரி பேண்ட்வித்	100 GB/s
இது உள்ள Mac-கள்	MacBook Air (2022, 2023), 13-inch MacBook Pro (2022), Mac mini (2023)
இதற்கான பிரத்யேக இருக்கை	Core இருக்கை: நாளுக்கு 20 MLX வரை மைன் செய்கிறது

2எந்த மாடல்கள் பொருந்தும்

ஒரு வெயிட்டுக்கு 4 பிட் என்றால், ஒரு மாடலுக்கு ஒவ்வொரு பில்லியன் பாராமீட்டருக்கும் அரை ஜிகாபைட்டுக்குச் சற்று அதிகம் தேவை; அதோடு அதன் கான்டெக்ஸ்ட்டுக்கும் macOS-க்கும் இடம் வேண்டும். 24 GB உடன், M2 சுமார் 32 பில்லியன் பாராமீட்டர்கள் வரையிலான மாடல்களைச் சுலபமாகக் கொள்ளும்.

4-பிட்டில் மாடல்	தேவைப்படும் மெமரி	M2-இல் பொருந்துமா
8B மாடல்	4.5 GB	ஆம்
14B மாடல்	7.9 GB	ஆம்
32B மாடல்	18 GB	ஆம்
70B மாடல்	39.4 GB	இல்லை
gpt-oss-120b, mixture-of-experts	65 GB	இல்லை
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	இல்லை
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	இல்லை

3எவ்வளவு வேகமாக இயங்கும்

உரை எழுதும் வேகத்தை மெமரி பேண்ட்வித் கட்டுப்படுத்துகிறது: ஒவ்வொரு புதிய டோக்கனும் மாடலின் செயலில் உள்ள வெயிட்களை ஒருமுறை படிக்கிறது. M2-இன் 100 GB/s-ஐ ஒரு டோக்கனுக்குப் படிக்கப்படும் பைட்டுகளால் வகுத்தால் கீழே உள்ள உச்சவரம்பு கிடைக்கும். உண்மையான ஓட்டங்கள் பொதுவாக அதில் சுமார் 45% முதல் 80% வரை எட்டும் (llama.cpp பெஞ்ச்மார்க்குகள்).

4-பிட்டில் மாடல்	ஒரு டோக்கனுக்குப் படிப்பது	ஒரு சாட்டுக்கான உச்சவரம்பு
8B மாடல்	4.5 GB	வினாடிக்கு 22 டோக்கன்கள்
14B மாடல்	7.9 GB	வினாடிக்கு 13 டோக்கன்கள்
32B மாடல்	18 GB	வினாடிக்கு 6 டோக்கன்கள்

உங்கள் M2 Mac மூலம் ஈட்டுங்கள்

MLX Node நீங்கள் அமைக்கும் வரம்புகளுக்குள் MLX Network-க்காக AI வேலைகளை இயக்கி MLX டோக்கன்களை ஈட்டுகிறது. M2 உள்ள Mac Core இருக்கைகளை முழு விகிதத்தில் இயக்குகிறது; அங்கே ஒன்று நாளுக்கு 20 MLX வரை மைன் செய்கிறது. இலவச இருக்கையில், ஒரு Mac நாளுக்கு 1 MLX வரை மைன் செய்கிறது. மைன் செய்த MLX இலவச இருக்கையில் 30 நாட்களும், பிரத்யேக இருக்கையுடன் 3 முதல் 20 நாட்களும் லாக் ஆகும். பிரத்யேக இருக்கைகள், அபாயங்கள் பக்கங்களைப் பாருங்கள்.

MLX Node-ஐப் பதிவிறக்குங்கள்

5மற்ற சிப்களுடன் ஒப்பிடுங்கள்

6கேள்விகள்

M2 70B மாடலை இயக்குமா?: சுலபமாக முடியாது. 4-பிட்டில் 70B மாடலுக்குச் சுமார் 40 GB தேவை; M2-இல் அதிகபட்சம் 24 GB மட்டுமே உள்ளது. சுமார் 32B பாராமீட்டர்கள் வரையிலான மாடல்கள் நன்றாகப் பொருந்தும்.
M2 வினாடிக்கு எத்தனை டோக்கன்கள் தரும்?: 4-பிட்டில் 8B மாடலுக்கு உச்சவரம்பு வினாடிக்குச் சுமார் 22 டோக்கன்கள்; உண்மையான ஓட்டங்கள் அதில் தோராயமாகப் பாதி முதல் ஐந்தில் நான்கு பங்கு வரை எட்டும். பெரிய மாடல்கள் அதே விகிதத்தில் மெதுவாக இயங்கும்.
AI-க்கு M2 நல்லதா?: மாடல்களை லோக்கலாக இயக்க, மெமரியும் பேண்ட்வித்தும்தான் மிக முக்கியம். M2-இல் 100 GB/s வேகத்தில் 24 GB வரை மெமரி உள்ளது; இது சுமார் 32 பில்லியன் பாராமீட்டர்கள் வரையிலான மாடல்களுக்குப் போதும். MLX Node மூலம் MLX Network-க்காக AI வேலைகளை இயக்கி இது ஈட்டவும் முடியும்.

ஆதாரங்கள்

Apple: M2apple.com
llama.cpp: Apple Silicon benchmarksgithub.com