லோக்கல் LLM-களுக்கான சிறந்த Mac.

1மெமரியும் பேண்ட்வித்தும் ஏன் எல்லாவற்றையும் தீர்மானிக்கின்றன

லாங்குவேஜ் மாடல் ஒரு நேரத்தில் ஒரு டோக்கனை எழுதுகிறது; ஒவ்வொன்றுக்கும் செயலில் உள்ள ஒவ்வொரு வெயிட்டையும் மெமரியிலிருந்து படிக்கிறது. எனவே ஒரு உரையாடலுக்கான வேக வரம்பு தோராயமாக, மெமரி பேண்ட்வித்தைச் செயலில் உள்ள வெயிட்களின் அளவால் வகுத்தது. llama.cpp-இன் பொது பெஞ்ச்மார்க்குகளில், Apple சிப்களில் உண்மையான ஜெனரேஷன் அந்த வரம்பின் 43% முதல் 80% வரை எட்டுகிறது (llama.cpp).

உங்கள் ப்ராம்ப்ட்டைப் படிப்பது வேறு: அந்தப் பகுதியைக் கட்டுப்படுத்துவது கம்ப்யூட்; அதனால்தான் GPU-வில் நியூரல் ஆக்ஸிலரேட்டர்கள் கொண்ட M5 தலைமுறை சிப்கள் முந்தையவற்றை விடப் பல மடங்கு வேகமாக ப்ராம்ப்ட்களைச் செயலாக்குகின்றன (Apple).

2ஒவ்வொரு சிப்பும், ஒப்பீட்டில்

மெமரி இருந்தால் பழைய சிப்களும் நன்றாக வேலை செய்யும். 64 GB கொண்ட M1 Max அல்லது M2 Max 400 GB/s வேகத்தில் படிக்கிறது, இன்றைய எந்த அடிப்படை சிப்பையும் விட அதிகம்; செகண்ட்-ஹேண்டில் பெரும்பாலும் மிகக் குறைந்த விலையில் கிடைக்கும்.

3எந்த Mac வாங்கலாம்

முயன்று பார்க்க மட்டும்: 16 முதல் 32 GB கொண்ட MacBook Air அல்லது Mac mini

7B முதல் 14B மாடல்களை வசதியாகவும், 32 GB-இல் 30B வகை மாடல்களையும் இயக்கும். சாட், எழுத்து, சிறிய கோடிங் உதவிக்குப் போதுமானது.

சிறந்த மதிப்பு: 64 GB கொண்ட Pro சிப்

M4 Pro அல்லது M5 Pro கொண்ட Mac mini அல்லது MacBook Pro 70B வகை மாடல்களைக் கொள்ளும், நடுத்தர அளவு மாடல்களை நல்ல வேகத்தில் இயக்கும். பெரும்பாலான டெவலப்பர்களுக்கு இதுவே சரியான தேர்வு.

தீவிர லோக்கல் AI: 128 GB கொண்ட Max சிப்

gpt-oss-120b-ஐ (4-பிட்டில் சுமார் 65 GB) லேப்டாப்பில் இயக்கும்; Apple-இன் பேண்ட்வித் எண்ணின்படி, M5 Max-இல் ஒரு ஸ்ட்ரீமுக்கான கோட்பாட்டு உச்சவரம்பு வினாடிக்கு சுமார் 225 டோக்கன்கள். எடுத்துச் செல்லக்கூடியவற்றில் சிறந்த தேர்வு.

மிகப் பெரிய மாடல்கள்: Ultra கொண்ட Mac Studio

M5 Ultra-உடன் 1.2 TB/s வேகத்தில் 512 GB வரை, நூற்றுக்கணக்கான பில்லியன் பாராமீட்டர்கள் கொண்ட மாடல்களை ஒரே மேசையில் கொள்ளும். இன்னும் பெரிய மாடல்களுக்கு, Thunderbolt 5 மூலம் Mac-களை ஒரு கிளஸ்டராக இணைக்கலாம்: Mac AI கிளஸ்டர்கள் பாருங்கள்.

4Mac தன் செலவைத் தானே ஈட்டட்டும்

AI-க்காக வாங்கிய Mac தன் நேரத்தின் பெரும்பகுதியைக் காத்திருப்பதிலேயே கழிக்கிறது. MLX Node என்பது அந்தப் பயன்படாத திறனை MLX Network-க்குக் கொடுக்கும் இலவச ஆப்; அதே MLX ஃபிரேம்வொர்க்கில் AI வேலைகளை இயக்கி, சரிபார்க்கப்பட்ட வேலைக்கு MLX டோக்கன்களை ஈட்டுகிறது. சிப்புக்குப் பொருத்தமான பிரத்யேக இருக்கை அது ஈட்டுவதைப் பல மடங்காக்குகிறது: Pro இருக்கை Pro அல்லது Max சிப்பில் முழு விகிதத்தில் இயங்கும், Ultra இருக்கை Ultra சிப்பில்.

முதலில் MLX Bench-இல் உங்கள் Mac-ஐ ஒப்பிடுங்கள்: ஒவ்வொரு சிப்பிலும் ஓப்பன் மாடல்களுக்கு அளவிடப்பட்ட வினாடிக்கான டோக்கன்களை அது காட்டுகிறது.

5கேள்விகள்

லோக்கல் LLM-க்கு 16 GB போதுமா?

4-பிட்டில் சுமார் 14B பாராமீட்டர்கள் வரையிலான மாடல்களுக்குப் போதும். பெரிய மாடல்களுக்கோ நீண்ட கான்டெக்ஸ்ட்களுக்கோ 32 GB அல்லது அதற்கு மேல் இருந்தால் மிகவும் வசதி.

LLM-களுக்கு Mac Studio-வா MacBook Pro-வா?

இரண்டிலும் Max சிப்களும் 128 GB வரையும் கிடைக்கும். MacBook Pro எடுத்துச் செல்லக்கூடியது; Mac Studio நீண்ட லோடுகளில் குளிர்ச்சியாக இருக்கும், Ultra சிப்களும் 512 GB வரையும் கொண்ட ஒரே Mac அதுதான்.

லோக்கல் AI-க்கு Nvidia GPU-வை விட Mac சிறந்ததா?

வீட்டில் மிகப் பெரிய மாடல்களுக்கு, பெரும்பாலும் ஆம்: ஒரு நுகர்வோர் கிராஃபிக்ஸ் கார்டின் மெமரியை விட Mac-இன் யூனிஃபைடு மெமரி மிக அதிகமாகக் கொள்ளும். அதன் மெமரியில் பொருந்தும் மாடல்களில் உயர்நிலை Nvidia கார்டு வேகமானது.

M5 LLM-களை வேகமாக்குமா?

ஆம், முக்கியமாக ப்ராம்ப்ட்களைப் படிப்பதில்: MLX உடன் M4-ஐ விட M5-இல் முதல் டோக்கன் 3.3 முதல் 4.1 மடங்கு விரைவாக வருவதை Apple அளந்தது. ஜெனரேஷன் வேகம் மெமரி பேண்ட்வித்துடன் வளர்கிறது; அது M4-இலிருந்து M5-க்கு 28% உயர்ந்தது.