M2 Pro 70B மாடலை இயக்குமா?

சுலபமாக முடியாது. 4-பிட்டில் 70B மாடலுக்குச் சுமார் 40 GB தேவை; M2 Pro-இல் அதிகபட்சம் 32 GB மட்டுமே உள்ளது. சுமார் 42B பாராமீட்டர்கள் வரையிலான மாடல்கள் நன்றாகப் பொருந்தும்.

M2 Pro வினாடிக்கு எத்தனை டோக்கன்கள் தரும்?

4-பிட்டில் 8B மாடலுக்கு உச்சவரம்பு வினாடிக்குச் சுமார் 44 டோக்கன்கள்; உண்மையான ஓட்டங்கள் அதில் தோராயமாகப் பாதி முதல் ஐந்தில் நான்கு பங்கு வரை எட்டும். பெரிய மாடல்கள் அதே விகிதத்தில் மெதுவாக இயங்கும்.

AI-க்கு M2 Pro நல்லதா?

மாடல்களை லோக்கலாக இயக்க, மெமரியும் பேண்ட்வித்தும்தான் மிக முக்கியம். M2 Pro-இல் 200 GB/s வேகத்தில் 32 GB வரை மெமரி உள்ளது; இது சுமார் 42 பில்லியன் பாராமீட்டர்கள் வரையிலான மாடல்களுக்குப் போதும். MLX Node மூலம் MLX Network-க்காக AI வேலைகளை இயக்கி இது ஈட்டவும் முடியும்.

லோக்கல் LLM-க்கு M2 Pro: மெமரி, வேகம், மாடல்கள்

1AI-க்கு முக்கியமான ஸ்பெக்குகள்

யூனிஃபைடு மெமரி	32 GB
மெமரி பேண்ட்வித்	200 GB/s
இது உள்ள Mac-கள்	14- and 16-inch MacBook Pro (2023), Mac mini (2023)
இதற்கான பிரத்யேக இருக்கை	Pro இருக்கை: நாளுக்கு 80 MLX வரை மைன் செய்கிறது

2எந்த மாடல்கள் பொருந்தும்

ஒரு வெயிட்டுக்கு 4 பிட் என்றால், ஒரு மாடலுக்கு ஒவ்வொரு பில்லியன் பாராமீட்டருக்கும் அரை ஜிகாபைட்டுக்குச் சற்று அதிகம் தேவை; அதோடு அதன் கான்டெக்ஸ்ட்டுக்கும் macOS-க்கும் இடம் வேண்டும். 32 GB உடன், M2 Pro சுமார் 42 பில்லியன் பாராமீட்டர்கள் வரையிலான மாடல்களைச் சுலபமாகக் கொள்ளும்.

4-பிட்டில் மாடல்	தேவைப்படும் மெமரி	M2 Pro-இல் பொருந்துமா
8B மாடல்	4.5 GB	ஆம்
14B மாடல்	7.9 GB	ஆம்
32B மாடல்	18 GB	ஆம்
70B மாடல்	39.4 GB	இல்லை
gpt-oss-120b, mixture-of-experts	65 GB	இல்லை
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	இல்லை
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	இல்லை

3எவ்வளவு வேகமாக இயங்கும்

உரை எழுதும் வேகத்தை மெமரி பேண்ட்வித் கட்டுப்படுத்துகிறது: ஒவ்வொரு புதிய டோக்கனும் மாடலின் செயலில் உள்ள வெயிட்களை ஒருமுறை படிக்கிறது. M2 Pro-இன் 200 GB/s-ஐ ஒரு டோக்கனுக்குப் படிக்கப்படும் பைட்டுகளால் வகுத்தால் கீழே உள்ள உச்சவரம்பு கிடைக்கும். உண்மையான ஓட்டங்கள் பொதுவாக அதில் சுமார் 45% முதல் 80% வரை எட்டும் (llama.cpp பெஞ்ச்மார்க்குகள்).

4-பிட்டில் மாடல்	ஒரு டோக்கனுக்குப் படிப்பது	ஒரு சாட்டுக்கான உச்சவரம்பு
8B மாடல்	4.5 GB	வினாடிக்கு 44 டோக்கன்கள்
14B மாடல்	7.9 GB	வினாடிக்கு 25 டோக்கன்கள்
32B மாடல்	18 GB	வினாடிக்கு 11 டோக்கன்கள்

உங்கள் M2 Pro Mac மூலம் ஈட்டுங்கள்

MLX Node நீங்கள் அமைக்கும் வரம்புகளுக்குள் MLX Network-க்காக AI வேலைகளை இயக்கி MLX டோக்கன்களை ஈட்டுகிறது. M2 Pro உள்ள Mac Pro இருக்கைகளை முழு விகிதத்தில் இயக்குகிறது; அங்கே ஒன்று நாளுக்கு 80 MLX வரை மைன் செய்கிறது. இலவச இருக்கையில், ஒரு Mac நாளுக்கு 1 MLX வரை மைன் செய்கிறது. மைன் செய்த MLX இலவச இருக்கையில் 30 நாட்களும், பிரத்யேக இருக்கையுடன் 3 முதல் 20 நாட்களும் லாக் ஆகும். பிரத்யேக இருக்கைகள், அபாயங்கள் பக்கங்களைப் பாருங்கள்.

MLX Node-ஐப் பதிவிறக்குங்கள்

5மற்ற சிப்களுடன் ஒப்பிடுங்கள்

6கேள்விகள்

M2 Pro 70B மாடலை இயக்குமா?: சுலபமாக முடியாது. 4-பிட்டில் 70B மாடலுக்குச் சுமார் 40 GB தேவை; M2 Pro-இல் அதிகபட்சம் 32 GB மட்டுமே உள்ளது. சுமார் 42B பாராமீட்டர்கள் வரையிலான மாடல்கள் நன்றாகப் பொருந்தும்.
M2 Pro வினாடிக்கு எத்தனை டோக்கன்கள் தரும்?: 4-பிட்டில் 8B மாடலுக்கு உச்சவரம்பு வினாடிக்குச் சுமார் 44 டோக்கன்கள்; உண்மையான ஓட்டங்கள் அதில் தோராயமாகப் பாதி முதல் ஐந்தில் நான்கு பங்கு வரை எட்டும். பெரிய மாடல்கள் அதே விகிதத்தில் மெதுவாக இயங்கும்.
AI-க்கு M2 Pro நல்லதா?: மாடல்களை லோக்கலாக இயக்க, மெமரியும் பேண்ட்வித்தும்தான் மிக முக்கியம். M2 Pro-இல் 200 GB/s வேகத்தில் 32 GB வரை மெமரி உள்ளது; இது சுமார் 42 பில்லியன் பாராமீட்டர்கள் வரையிலான மாடல்களுக்குப் போதும். MLX Node மூலம் MLX Network-க்காக AI வேலைகளை இயக்கி இது ஈட்டவும் முடியும்.

ஆதாரங்கள்

Apple: M2 Pro and M2 Maxapple.com
llama.cpp: Apple Silicon benchmarksgithub.com