உங்கள் Mac எதை ஓட்டும்?
உங்கள் Mac-ஐயோ வேறு எந்த இயந்திரத்தையோ தேர்ந்தெடுத்து, எந்த ஓப்பன் AI மாடல்கள் அதன் மெமரியில் அடங்கும், அவற்றை அது எவ்வளவு வேகமாக ஓட்டும் என்று பாருங்கள். ஒவ்வொரு மாடலின் மாடல் கார்டு, ஒவ்வொரு சிப்பின் வெளியிடப்பட்ட மெமரி மற்றும் பேண்ட்வித்திலிருந்து கணக்கிடப்பட்டது.
Apple M5, 16 GB: இயல்பாக மாடல்களுக்குச் சுமார் 12 GB, மெமரி பேண்ட்வித் 153 GB/s. 43 பிரபல மாடல்களில் 20 இதில் ஓடும். அதன் பக்கம் அளந்தது: llama.cpp-இல் 4-பிட் Llama 2 7B உடன் வினாடிக்கு 32 டோக்கன்கள் (M5 (10-core GPU)).
நுண்ணறிவு: Artificial Analysis Intelligence Index v4.3.2, அளக்கப்பட்ட இடங்களில். மாடல் பெயர்கள் அவற்றின் அதிகாரப்பூர்வ கார்டுகளுக்கு இணைக்கப்பட்டுள்ளன.
எப்படிக் கணக்கிடப்பட்டது
மெமரி. ஒவ்வொரு மாடலும் அடங்கக்கூடிய மிக உயர்ந்த துல்லியத்தில் காட்டப்படுகிறது: ஒரு வெயிட்டுக்கு 8, 6, 4, 3 அல்லது 2 பிட்கள், கூடவே MLX-இன் குரூப் ஸ்கேல்கள் (ஒரு வெயிட்டுக்கு அரை பிட்), அல்லது மாடல் அப்படியே வெளியானால் அதன் நேட்டிவ் வடிவம். Mac-இல் GPU இயல்பாக யூனிஃபைடு மெமரியில் சுமார் 75% பயன்படுத்தலாம்; அதற்கு மேல் கான்டெக்ஸ்டுக்கு இடம் விடுகிறோம்.
வேகம். எழுதும்போது ஒவ்வொரு டோக்கனும் எல்லா ஆக்டிவ் வெயிட்களையும் ஒருமுறை படிக்கிறது; எனவே மெமரி பேண்ட்வித்தை அந்த பைட்டுகளால் வகுத்தால் ஒரு உரையாடலுக்கான உச்சவரம்பு கிடைக்கும். llama.cpp-இன் Apple Silicon பொது பெஞ்ச்மார்க்குகளில் உண்மையான ஓட்டங்கள் அதன் சுமார் 45% முதல் 80% வரை எட்டுகின்றன; அந்த வரம்பே காட்டப்படுகிறது. நீண்ட பிராம்ப்டைப் படிப்பது கணினி சக்தியைப் பொறுத்தது, அதனால் அது இங்கே காட்டப்படவில்லை.
ஆதாரங்கள். பாராமீட்டர்கள், கான்டெக்ஸ்ட், உரிமங்கள் Hugging Face-இல் உள்ள ஒவ்வொரு மாடலின் அதிகாரப்பூர்வ கார்டிலிருந்து (பெயரில் இணைப்பு); மெமரி, பேண்ட்வித் Apple மற்றும் தயாரிப்பாளர்களின் விவரக்குறிப்புகளிலிருந்து. 2026-10-19 அன்று சரிபார்க்கப்பட்டது. உங்கள் Mac-ஐ MLX Bench-இல் அளந்து பாருங்கள். ஒவ்வொரு Mac, ஒவ்வொரு மாடல், முழு பொருத்த அட்டவணை அனைத்தையும் JSON, CSV வடிவில் இலவசமாகப் பதிவிறக்கலாம்: ஓப்பன் டேட்டா.
உலாவுங்கள். 8 GB M1 முதல் 512 GB M5 Ultra வரை ஒவ்வொரு Mac-உம் அதில் ஓடும் ஒவ்வொரு மாடலும், ஒவ்வொரு மாடலும் அதற்குத் தேவையான மிகச் சிறிய Mac-உம்.
ஓட்டிப் பாருங்கள். படிப்படியாக: Mac-இல் LLM-களைப் பதிவிறக்கி ஓட்டுங்கள், MLX vs Ollama vs llama.cpp, லோக்கல் LLM-களுக்குச் சிறந்த Mac. உங்கள் Mac சும்மா இருக்கும்போது அது MLX டோக்கன்களைச் சம்பாதிக்கலாம்.
- ஒரு LLM என் Mac-இல் ஓடுமா என்று எப்படித் தெரிந்துகொள்வது?
- நீங்கள் விரும்பும் துல்லியத்தில் மாடலின் அளவை உங்கள் Mac-இன் யூனிஃபைடு மெமரியுடன் ஒப்பிடுங்கள். macOS இயல்பாக GPU-வை அதில் சுமார் 75% பயன்படுத்த அனுமதிக்கிறது; மாடலுக்கு அதன் கான்டெக்ஸ்டுக்கும் இடம் தேவை. 4-பிட் மாடலுக்கு ஒவ்வொரு நூறு கோடி பாராமீட்டருக்கும் அரை ஜிகாபைட்டுக்குச் சற்று அதிகம் தேவை.
- ஒரு வினாடிக்கு எத்தனை டோக்கன்கள் கிடைக்கும்?
- எழுதும் வேகத்தை மெமரி பேண்ட்வித் கட்டுப்படுத்துகிறது: ஒவ்வொரு டோக்கனும் மாடலின் ஆக்டிவ் வெயிட்களை ஒருமுறை படிக்கிறது. பேண்ட்வித்தை ஒரு டோக்கனுக்குப் படிக்கும் பைட்டுகளால் வகுத்தால் ஒரு உரையாடலுக்கான உச்சவரம்பு கிடைக்கும்; உண்மையான ஓட்டங்கள் பொதுவாக அதன் சுமார் 45% முதல் 80% வரை எட்டுகின்றன.
- மிக்ஸ்ச்சர்-ஆஃப்-எக்ஸ்பர்ட்ஸ் (MoE) மாடல்கள் ஏன் வேகமாக ஓடுகின்றன?
- இவை மெமரியில் பல எக்ஸ்பர்ட்களை வைத்திருந்தாலும் ஒவ்வொரு டோக்கனுக்கும் அவற்றில் சிலவற்றையே பயன்படுத்துகின்றன; அதனால் ஒவ்வொரு டோக்கனும் மிகக் குறைந்த பைட்டுகளையே படிக்கிறது. முழு மாடலுக்கும் மெமரி தேவை, ஆனால் வேகம் மிகச் சிறிய மாடலுக்கு இணையானது.
- 4-பிட் போதுமா?
- பெரும்பாலான மாடல்களில் 4-பிட் தரத்தை அசலுக்கு அருகில் வைத்திருக்கிறது. 4 பிட்டுக்குக் கீழே தரம் வேகமாகக் குறைகிறது; அதனால்தான் 4 பிட்டுக்குக் குறைவான பதிப்புகள் குறிக்கப்பட்டுள்ளன.