M5 70B மாடலை இயக்குமா?

சுலபமாக முடியாது. 4-பிட்டில் 70B மாடலுக்குச் சுமார் 40 GB தேவை; M5-இல் அதிகபட்சம் 32 GB மட்டுமே உள்ளது. சுமார் 42B பாராமீட்டர்கள் வரையிலான மாடல்கள் நன்றாகப் பொருந்தும்.

M5 வினாடிக்கு எத்தனை டோக்கன்கள் தரும்?

4-பிட்டில் 8B மாடலுக்கு உச்சவரம்பு வினாடிக்குச் சுமார் 34 டோக்கன்கள்; உண்மையான ஓட்டங்கள் அதில் தோராயமாகப் பாதி முதல் ஐந்தில் நான்கு பங்கு வரை எட்டும். பெரிய மாடல்கள் அதே விகிதத்தில் மெதுவாக இயங்கும்.

AI-க்கு M5 நல்லதா?

மாடல்களை லோக்கலாக இயக்க, மெமரியும் பேண்ட்வித்தும்தான் மிக முக்கியம். M5-இல் 153 GB/s வேகத்தில் 32 GB வரை மெமரி உள்ளது; இது சுமார் 42 பில்லியன் பாராமீட்டர்கள் வரையிலான மாடல்களுக்குப் போதும். MLX Node மூலம் MLX Network-க்காக AI வேலைகளை இயக்கி இது ஈட்டவும் முடியும்.

லோக்கல் LLM-க்கு M5: மெமரி, வேகம், மாடல்கள்

1AI-க்கு முக்கியமான ஸ்பெக்குகள்

யூனிஃபைடு மெமரி	32 GB
மெமரி பேண்ட்வித்	153 GB/s
இது உள்ள Mac-கள்	14-inch MacBook Pro (2025), MacBook Air (2026)
இதற்கான பிரத்யேக இருக்கை	Core இருக்கை: நாளுக்கு 20 MLX வரை மைன் செய்கிறது

2எந்த மாடல்கள் பொருந்தும்

ஒரு வெயிட்டுக்கு 4 பிட் என்றால், ஒரு மாடலுக்கு ஒவ்வொரு பில்லியன் பாராமீட்டருக்கும் அரை ஜிகாபைட்டுக்குச் சற்று அதிகம் தேவை; அதோடு அதன் கான்டெக்ஸ்ட்டுக்கும் macOS-க்கும் இடம் வேண்டும். 32 GB உடன், M5 சுமார் 42 பில்லியன் பாராமீட்டர்கள் வரையிலான மாடல்களைச் சுலபமாகக் கொள்ளும்.

4-பிட்டில் மாடல்	தேவைப்படும் மெமரி	M5-இல் பொருந்துமா
8B மாடல்	4.5 GB	ஆம்
14B மாடல்	7.9 GB	ஆம்
32B மாடல்	18 GB	ஆம்
70B மாடல்	39.4 GB	இல்லை
gpt-oss-120b, mixture-of-experts	65 GB	இல்லை
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	இல்லை
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	இல்லை

3எவ்வளவு வேகமாக இயங்கும்

உரை எழுதும் வேகத்தை மெமரி பேண்ட்வித் கட்டுப்படுத்துகிறது: ஒவ்வொரு புதிய டோக்கனும் மாடலின் செயலில் உள்ள வெயிட்களை ஒருமுறை படிக்கிறது. M5-இன் 153 GB/s-ஐ ஒரு டோக்கனுக்குப் படிக்கப்படும் பைட்டுகளால் வகுத்தால் கீழே உள்ள உச்சவரம்பு கிடைக்கும். உண்மையான ஓட்டங்கள் பொதுவாக அதில் சுமார் 45% முதல் 80% வரை எட்டும் (llama.cpp பெஞ்ச்மார்க்குகள்).

4-பிட்டில் மாடல்	ஒரு டோக்கனுக்குப் படிப்பது	ஒரு சாட்டுக்கான உச்சவரம்பு
8B மாடல்	4.5 GB	வினாடிக்கு 34 டோக்கன்கள்
14B மாடல்	7.9 GB	வினாடிக்கு 19 டோக்கன்கள்
32B மாடல்	18 GB	வினாடிக்கு 9 டோக்கன்கள்

அளவிடப்பட்டது: llama.cpp-இன் பொது பெஞ்ச்மார்க்குகளில், M5 (10-core GPU)-இல் Llama-2-7B (Q4_0) வினாடிக்கு 32 டோக்கன்களை உருவாக்குகிறது.

M5 தலைமுறை சிப்கள் GPU-வில் நியூரல் ஆக்சிலரேட்டர்களைச் சேர்க்கின்றன; எனவே அவை M4-ஐ விடப் பல மடங்கு வேகமாக ப்ராம்ப்ட்களைப் படிக்கின்றன: MLX உடன் முதல் டோக்கன் 3.3 முதல் 4.1 மடங்கு விரைவாக வருவதை Apple அளவிட்டது (Apple).

உங்கள் M5 Mac மூலம் ஈட்டுங்கள்

MLX Node நீங்கள் அமைக்கும் வரம்புகளுக்குள் MLX Network-க்காக AI வேலைகளை இயக்கி MLX டோக்கன்களை ஈட்டுகிறது. M5 உள்ள Mac Core இருக்கைகளை முழு விகிதத்தில் இயக்குகிறது; அங்கே ஒன்று நாளுக்கு 20 MLX வரை மைன் செய்கிறது. இலவச இருக்கையில், ஒரு Mac நாளுக்கு 1 MLX வரை மைன் செய்கிறது. மைன் செய்த MLX இலவச இருக்கையில் 30 நாட்களும், பிரத்யேக இருக்கையுடன் 3 முதல் 20 நாட்களும் லாக் ஆகும். பிரத்யேக இருக்கைகள், அபாயங்கள் பக்கங்களைப் பாருங்கள்.

MLX Node-ஐப் பதிவிறக்குங்கள்

5மற்ற சிப்களுடன் ஒப்பிடுங்கள்

6கேள்விகள்

M5 70B மாடலை இயக்குமா?: சுலபமாக முடியாது. 4-பிட்டில் 70B மாடலுக்குச் சுமார் 40 GB தேவை; M5-இல் அதிகபட்சம் 32 GB மட்டுமே உள்ளது. சுமார் 42B பாராமீட்டர்கள் வரையிலான மாடல்கள் நன்றாகப் பொருந்தும்.
M5 வினாடிக்கு எத்தனை டோக்கன்கள் தரும்?: 4-பிட்டில் 8B மாடலுக்கு உச்சவரம்பு வினாடிக்குச் சுமார் 34 டோக்கன்கள்; உண்மையான ஓட்டங்கள் அதில் தோராயமாகப் பாதி முதல் ஐந்தில் நான்கு பங்கு வரை எட்டும். பெரிய மாடல்கள் அதே விகிதத்தில் மெதுவாக இயங்கும்.
AI-க்கு M5 நல்லதா?: மாடல்களை லோக்கலாக இயக்க, மெமரியும் பேண்ட்வித்தும்தான் மிக முக்கியம். M5-இல் 153 GB/s வேகத்தில் 32 GB வரை மெமரி உள்ளது; இது சுமார் 42 பில்லியன் பாராமீட்டர்கள் வரையிலான மாடல்களுக்குப் போதும். MLX Node மூலம் MLX Network-க்காக AI வேலைகளை இயக்கி இது ஈட்டவும் முடியும்.

ஆதாரங்கள்

Apple: M5apple.com
Apple: MacBook Air with M5apple.com
llama.cpp: Apple Silicon benchmarksgithub.com