சுருக்கமாக
- வெயிட்கள்: பாராமீட்டர்கள் × ஒரு வெயிட்டுக்கான பிட்கள் ÷ 8. MLX-இன் 4-பிட் வடிவத்தில் அது பில்லியன் பாராமீட்டருக்குச் சுமார் 0.56 GB; 8-பிட்டில் சுமார் 1.06 GB, 16-பிட்டில் 2 GB.
- எனவே கான்டெக்ஸ்ட்டுக்கு முன்பே, 4-பிட்டில் 8B மாடலுக்குச் சுமார் 4.5 GB, 32B மாடலுக்குச் சுமார் 18 GB, 70B மாடலுக்குச் சுமார் 39 GB தேவை.
- கான்டெக்ஸ்ட் (KV cache) அதற்கு மேல் வருகிறது, ஒவ்வொரு டோக்கனுடனும் வளர்கிறது: Qwen3 8B-இல் 32,000 டோக்கன் கான்டெக்ஸ்ட் சுமார் 4.8 GB எடுக்கிறது, அதன் 4-பிட் வெயிட்களை விட அதிகம்.
- Mac-இல் இயல்பாக GPU யூனிஃபைடு மெமரியில் சுமார் 75% பயன்படுத்த முடியும்; எனவே 16 GB Mac-இல் ஒரு மாடலுக்குச் சுமார் 12 GB கிடைக்கும். PC-இல் முழு வேகத்தில் இயங்க, மாடல் கிராஃபிக்ஸ் கார்டின் சொந்த VRAM-இல் பொருந்த வேண்டும்.
1விதி: பாராமீட்டர்கள் × பிட்கள்
ஒரு மாடல் பெரும்பாலும் அதன் வெயிட்களே: ஒவ்வொரு பாராமீட்டருக்கும் ஒரு எண். 16 பிட்களில் சேமித்தால் ஒவ்வொன்றும் 2 பைட்டுகள் எடுக்கும்; எனவே ஒரு பில்லியன் பாராமீட்டருக்கு 2 GB தேவை. குவான்டைசேஷன் ஒவ்வொரு வெயிட்டையும் குறைவான பிட்களில் சேமிக்கிறது, அதனால் மாடல் கிட்டத்தட்ட அதே விகிதத்தில் சுருங்குகிறது; 4 பிட்களில் பெரும்பாலான மாடல்கள் அசல் தரத்துக்கு அருகிலேயே இருக்கின்றன.
வெயிட்களை மீண்டும் உருவாக்க, குவான்டைஸ் செய்யப்பட்ட வடிவங்கள் சிறிது கூடுதல் தகவலையும் சேமிக்கின்றன. Apple-இன் MLX இயல்பாக ஒவ்வொரு 64 வெயிட்கள் கொண்ட குழுவுக்கும் ஒரு scale-ஐயும் ஒரு bias-ஐயும் மாடலின் சொந்த 16-பிட் வகையில் வைத்திருக்கிறது (MLX); இது ஒரு வெயிட்டுக்கு அரை பிட் சேர்க்கிறது. அதன்படி அளவுகள் இவை:
| பிரிசிஷன் | ஒரு வெயிட்டுக்கான பிட்கள் | பில்லியன் பாராமீட்டருக்கு GB |
|---|---|---|
| 16-பிட் (அசல்) | 16 | 2.0 |
| 8-பிட் | 8.5 | சுமார் 1.06 |
| 6-பிட் | 6.5 | சுமார் 0.81 |
| 4-பிட் | 4.5 | சுமார் 0.56 |
| 3-பிட் | 3.5 | சுமார் 0.44 |
| 2-பிட் | 2.5 | சுமார் 0.31 |
4 பிட்களுக்குக் கீழே தரம் வேகமாகக் குறைகிறது. நல்ல இயல்புத் தேர்வு: கூடுதல் இடம் மிச்சமிருக்கும்படி பொருந்தும் மிக உயர்ந்த பிரிசிஷன்.
2பொதுவான மாடல் அளவுகளுக்கான மெமரி
| மாடல் அளவு | 16-பிட் | 8-பிட் | 4-பிட் | 3-பிட் |
|---|---|---|---|---|
| 1B | 2 GB | 1.1 GB | 0.6 GB | 0.4 GB |
| 3B | 6 GB | 3.2 GB | 1.7 GB | 1.3 GB |
| 8B | 16 GB | 8.5 GB | 4.5 GB | 3.5 GB |
| 14B | 28 GB | 14.9 GB | 7.9 GB | 6.1 GB |
| 32B | 64 GB | 34 GB | 18 GB | 14 GB |
| 70B | 140 GB | 74.4 GB | 39.4 GB | 30.6 GB |
| 120B | 240 GB | 127.5 GB | 67.5 GB | 52.5 GB |
| 235B | 470 GB | 249.7 GB | 132.2 GB | 102.8 GB |
| 405B | 810 GB | 430.3 GB | 227.8 GB | 177.2 GB |
| 671B | 1,342 GB | 712.9 GB | 377.4 GB | 293.6 GB |
சில மாடல்கள் தாங்களே குறைந்த பிரிசிஷனில் வெளியாகின்றன. OpenAI-இன் gpt-oss-120b-இல் 117 பில்லியன் பாராமீட்டர்கள் உள்ளன; அதன் mixture-of-experts வெயிட்கள் MXFP4 என்ற 4-பிட் வடிவத்தில் உள்ளன, எனவே அது ஒரே 80 GB GPU-வில் பொருந்துகிறது (OpenAI). ஒரு குறிப்பிட்ட மாடலுக்கு, அதன் பக்கத்தைத் திறங்கள்: ஒவ்வொரு ஓப்பன் மாடலும் அதற்குத் தேவையான Mac-உம், உதாரணமாக gpt-oss-120b அல்லது Llama 3.3 70B.
3கான்டெக்ஸ்ட்டும் மெமரியை எடுக்கிறது
ஒரு மாடல் படிக்கும்போதும் எழுதும்போதும், உரையாடலின் ஒவ்வொரு டோக்கனுக்கும் ஒவ்வொரு லேயரிலும் ஒரு key-ஐயும் ஒரு value-ஐயும் வைத்திருக்கிறது: இதுவே KV cache. அதன் அளவு 2 × லேயர்கள் × KV heads × head அளவு × ஒரு மதிப்புக்கான பைட்டுகள் × டோக்கன்கள்.
உதாரணமாக Qwen3 8B-இல் 36 லேயர்கள், 8 KV heads, 128 head அளவு உள்ளன, 16-பிட்டில் சேமிக்கப்படுகின்றன (config). அது ஒரு டோக்கனுக்கு 147,456 பைட்டுகள்:
| கான்டெக்ஸ்ட் | Qwen3 8B-க்கான KV cache (16-பிட்) |
|---|---|
| 8,192 டோக்கன்கள் | சுமார் 1.2 GB |
| 32,768 டோக்கன்கள் | சுமார் 4.8 GB |
| 40,960 டோக்கன்கள் (அதன் முழு கான்டெக்ஸ்ட்) | சுமார் 6.0 GB |
இதைப் போல grouped-query attention கொண்ட மாடல்கள், attention heads-ஐ விடக் குறைவான KV heads-ஐ வைத்திருக்கின்றன (32-க்கு எதிராக 8); இது ஏற்கனவே cache-ஐ நான்கில் ஒரு பங்காகக் குறைக்கிறது. cache-ஐயும் குவான்டைஸ் செய்து இன்னும் மிச்சப்படுத்தலாம்: mlx-lm-இன் சர்வர் --kv-bits 4 ஏற்கிறது (mlx-lm). சாட்டுக்குச் சில ஆயிரம் டோக்கன் கான்டெக்ஸ்ட் போதும்; ஏஜென்ட்கள், நீண்ட ஆவணங்கள், கோடு ஆகியவற்றுக்குப் பல ஜிகாபைட்டுகளை ஒதுக்குங்கள்.
4Mac-இல் எவ்வளவு பெரிய மாடல் பொருந்தும்
Mac-இன் மெமரியை CPU-வும் GPU-வும் பகிர்ந்துகொள்கின்றன; macOS இயல்பாக அதில் ஒரு பகுதியை மட்டுமே GPU பயன்படுத்த அனுமதிக்கிறது. எங்கள் Compare பக்கம் சுமார் 75% எனக் கணக்கிடுகிறது; macOS 15 அல்லது அதற்குப் பிந்தைய பதிப்பில் sudo sysctl iogpu.wired_limit_mb=N மூலம் அந்த வரம்பை உயர்த்துவது எப்படி என்று mlx-lm-இன் README காட்டுகிறது (mlx-lm), ஆனால் macOS-க்கும் உங்கள் மற்ற ஆப்களுக்கும் இன்னும் இடம் தேவை.
| Mac மெமரி | GPU-க்கு (சுமார் 75%) | 4-பிட்டில் பெரிய மாடல் | 8-பிட்டில் பெரியது |
|---|---|---|---|
| 8 GB | 6 GB | சுமார் 10B | சுமார் 5B |
| 16 GB | 12 GB | சுமார் 21B | சுமார் 11B |
| 24 GB | 18 GB | சுமார் 32B | சுமார் 16B |
| 32 GB | 24 GB | சுமார் 42B | சுமார் 22B |
| 36 GB | 27 GB | சுமார் 48B | சுமார் 25B |
| 48 GB | 36 GB | சுமார் 64B | சுமார் 33B |
| 64 GB | 48 GB | சுமார் 85B | சுமார் 45B |
| 96 GB | 72 GB | சுமார் 128B | சுமார் 67B |
| 128 GB | 96 GB | சுமார் 170B | சுமார் 90B |
| 256 GB | 192 GB | சுமார் 341B | சுமார் 180B |
| 512 GB | 384 GB | சுமார் 682B | சுமார் 361B |
எது பொருந்தும் என்பதை மெமரி தீர்மானிக்கிறது; எவ்வளவு வேகமாக எழுதும் என்பதை மெமரி பேண்ட்வித் தீர்மானிக்கிறது. இரண்டாவது பாதியை லோக்கல் LLM-களுக்கான சிறந்த Mac விளக்குகிறது; எல்லா Mac-களின் தரவரிசை இரண்டையும் ஒன்றாகக் காட்டுகிறது.
5RAM, VRAM, யூனிஃபைடு மெமரி
கிராஃபிக்ஸ் கார்டு உள்ள PC-இல், மாடல் கார்டின் சொந்த மெமரியான VRAM-இல் பொருந்தினால் மட்டுமே முழு வேகத்தில் இயங்கும்: RTX 5090-இல் 32 GB (NVIDIA). பொருந்தாத லேயர்கள் PC-இன் சிஸ்டம் RAM-இலிருந்து இயங்கலாம், ஆனால் அந்த மெமரியைப் படிப்பது மிக மெதுவானது; அதனால் மாடல் பெரிதும் மெதுவாகிறது.
Mac-இல் தனி VRAM இல்லை: GPU, CPU படிக்கும் அதே யூனிஃபைடு மெமரியைப் படிக்கிறது; அதனால்தான் 64 GB அல்லது 128 GB கொண்ட Mac, எந்தத் தனி நுகர்வோர் கிராஃபிக்ஸ் கார்டாலும் கொள்ள முடியாத மாடல்களைக் கொள்கிறது. சில PC-களும் இப்போது இதே முறையில் வேலை செய்கின்றன, உதாரணமாக CPU-வுக்கும் GPU-வுக்கும் இடையே 128 GB பகிரப்படும் NVIDIA-வின் DGX Spark, AMD-இன் Ryzen AI Max கணினிகள்: M5 Max vs DGX Spark, M5 Max vs RTX 5090 பாருங்கள்.
6Mixture-of-experts மாடல்கள்
Mixture-of-experts மாடல் தன் எல்லாப் பாராமீட்டர்களையும் மெமரியில் வைத்திருக்கிறது, ஆனால் ஒவ்வொரு டோக்கனுக்கும் அவற்றில் சிலவற்றை மட்டுமே பயன்படுத்துகிறது. மெமரி மொத்தத்தைப் பொறுத்தது; வேகம் செயலில் உள்ள பகுதியைப் பொறுத்தது. gpt-oss-20b-இல் 21 பில்லியன் பாராமீட்டர்கள், அதில் 3.6 பில்லியன் செயலில் உள்ளன (OpenAI): அதற்கு 21B மாடல் அளவு மெமரி தேவை, ஆனால் ஏறக்குறைய 4B மாடல் வேகத்தில் எழுதுகிறது.
கிராஃபிக்ஸ் கார்டுகளுடன் ஒப்பிடும்போது பேண்ட்வித்தை விட மெமரி அதிகம் உள்ள Mac-களுக்கு, mixture-of-experts மாடல்கள் நன்றாகப் பொருந்துகின்றன. ஒவ்வொரு பிரபல மாடலுக்கும் இரண்டு எண்களையும் Compare காட்டுகிறது.
7கேள்விகள்
- 70B மாடலை இயக்க எவ்வளவு RAM தேவை?
- 4-பிட்டில் வெயிட்களுக்குச் சுமார் 39 GB, கூடவே கான்டெக்ஸ்ட்: நடைமுறையில் 64 GB அல்லது அதற்கு மேல் கொண்ட Mac, அல்லது பல கிராஃபிக்ஸ் கார்டுகள். 8-பிட்டில் சுமார் 74 GB தேவை, எனவே 128 GB.
- LLM இயக்க 16 GB RAM போதுமா?
- ஆம், 4-பிட்டில் சுமார் 14B பாராமீட்டர்கள் வரையிலான மாடல்களுக்கு: 16 GB Mac இயல்பாக GPU-க்குச் சுமார் 12 GB தருகிறது. 8B மாடல்கள் கான்டெக்ஸ்ட்டுக்கு இடம் மிச்சமிருக்க வசதியாக இயங்கும். 16 GB Mac-க்கான சிறந்த LLM-கள் பாருங்கள்.
- 8B மாடலுக்கு எவ்வளவு VRAM தேவை?
- 4-பிட்டில் சுமார் 4.5 GB, 8-பிட்டில் 8.5 GB, 16-பிட்டில் 16 GB; கூடவே Qwen3 8B-இல் 8,000 டோக்கன் கான்டெக்ஸ்ட்டுக்குச் சுமார் 1.2 GB.
- கான்டெக்ஸ்ட் நீளம் மெமரியைப் பயன்படுத்துமா?
- ஆம். உரையாடலின் ஒவ்வொரு டோக்கனுடனும் KV cache வளர்கிறது. Qwen3 8B-க்கு 16-பிட்டில் அது ஒரு டோக்கனுக்குச் சுமார் 147 KB: 32,000 டோக்கன்களில் சுமார் 4.8 GB.
- என் RAM-ஐ விடப் பெரிய மாடலை இயக்க முடியுமா?
- பயனுள்ள வகையில் முடியாது. வெயிட்கள் பொருந்தவில்லை என்றால், சிஸ்டம் swap செய்கிறது அல்லது மெதுவான மெமரியிலிருந்து படிக்கிறது, வெளியீடு ஊர்ந்து செல்லும் வேகத்துக்குக் குறைகிறது. குறைந்த பிரிசிஷன், சிறிய மாடல் அல்லது mixture-of-experts மாடலைப் பயன்படுத்துங்கள், அல்லது அதைப் பல கணினிகளில் பிரித்து இயக்குங்கள்: Mac AI கிளஸ்டர்கள் பாருங்கள்.