క్లుప్తంగా
- వెయిట్లు: పారామీటర్‌లు × బిట్స్ పర్ వెయిట్ ÷ 8. MLX 4-bit ఫార్మాట్‌లో అది బిలియన్ పారామీటర్‌లకు సుమారు 0.56 GB; 8-bitలో సుమారు 1.06 GB, 16-bitలో 2 GB.
- కాబట్టి కాంటెక్స్ట్ కాకుండా, 4-bitలో 8B మోడల్కు సుమారు 4.5 GB, 32B మోడల్కు సుమారు 18 GB, 70B మోడల్కు సుమారు 39 GB కావాలి.
- కాంటెక్స్ట్ (KV cache) దానిపై అదనం, ప్రతి టోకెన్తో పెరుగుతుంది: Qwen3 8Bకి 32,000 టోకెన్ల కాంటెక్స్ట్ సుమారు 4.8 GB తీసుకుంటుంది, దాని 4-bit వెయిట్‌ల కంటే ఎక్కువ.
- Macపై GPU డిఫాల్ట్గా యూనిఫైడ్ మెమరీలో సుమారు 75% వాడగలదు, కాబట్టి 16 GB Macలో మోడల్కు సుమారు 12 GB ఉంటుంది. PCపై పూర్తి వేగంతో నడవాలంటే మోడల్ గ్రాఫిక్స్ కార్డ్ సొంత VRAMలో సరిపోవాలి.
1నియమం: పారామీటర్‌లు × బిట్స్
మోడల్ అంటే ఎక్కువగా దాని వెయిట్‌లే: ప్రతి పారామీటర్‌కు ఒక సంఖ్య. 16 బిట్స్‌లో నిల్వ చేస్తే ఒక్కొక్కటి 2 బైట్లు తీసుకుంటుంది, కాబట్టి బిలియన్ పారామీటర్‌లకు 2 GB కావాలి. క్వాంటైజేషన్ ప్రతి వెయిట్‌ను తక్కువ బిట్స్‌లో నిల్వ చేస్తుంది, దాంతో మోడల్ దాదాపు అదే నిష్పత్తిలో చిన్నదవుతుంది; 4 బిట్స్‌లో చాలా మోడల్లు తమ అసలు నాణ్యతకు దగ్గరగానే ఉంటాయి.
క్వాంటైజ్ చేసిన ఫార్మాట్‌లు వెయిట్‌లను తిరిగి నిర్మించడానికి కొంచెం అదనంగా కూడా నిల్వ చేస్తాయి. Apple MLX డిఫాల్ట్గా ప్రతి 64 వెయిట్‌ల గ్రూప్‌కు ఒక scale, ఒక biasను మోడల్ సొంత 16-bit రకంలో ఉంచుతుంది (MLX); అది ప్రతి వెయిట్‌కు సగం బిట్ జోడిస్తుంది. దాంతో ఈ సైజులు వస్తాయి:
| ప్రెసిషన్ | బిట్స్ పర్ వెయిట్ | బిలియన్ పారామీటర్‌లకు GB |
|---|---|---|
| 16-bit (అసలు) | 16 | 2.0 |
| 8-bit | 8.5 | సుమారు 1.06 |
| 6-bit | 6.5 | సుమారు 0.81 |
| 4-bit | 4.5 | సుమారు 0.56 |
| 3-bit | 3.5 | సుమారు 0.44 |
| 2-bit | 2.5 | సుమారు 0.31 |
4 బిట్స్ కంటే తక్కువలో నాణ్యత వేగంగా పడిపోతుంది. మంచి డిఫాల్ట్: కొంత ఖాళీ మిగిలేలా సరిపోయే అత్యధిక ప్రెసిషన్.
2సాధారణ మోడల్ సైజులకు మెమరీ
| మోడల్ సైజు | 16-bit | 8-bit | 4-bit | 3-bit |
|---|---|---|---|---|
| 1B | 2 GB | 1.1 GB | 0.6 GB | 0.4 GB |
| 3B | 6 GB | 3.2 GB | 1.7 GB | 1.3 GB |
| 8B | 16 GB | 8.5 GB | 4.5 GB | 3.5 GB |
| 14B | 28 GB | 14.9 GB | 7.9 GB | 6.1 GB |
| 32B | 64 GB | 34 GB | 18 GB | 14 GB |
| 70B | 140 GB | 74.4 GB | 39.4 GB | 30.6 GB |
| 120B | 240 GB | 127.5 GB | 67.5 GB | 52.5 GB |
| 235B | 470 GB | 249.7 GB | 132.2 GB | 102.8 GB |
| 405B | 810 GB | 430.3 GB | 227.8 GB | 177.2 GB |
| 671B | 1,342 GB | 712.9 GB | 377.4 GB | 293.6 GB |
కొన్ని మోడల్లు తమ సొంత తక్కువ ప్రెసిషన్‌లోనే వస్తాయి. OpenAI gpt-oss-120bకి 117 బిలియన్ పారామీటర్‌లు ఉన్నాయి, దాని mixture-of-experts వెయిట్‌లను MXFP4 అనే 4-bit ఫార్మాట్‌లో ఉంచుతుంది, కాబట్టి అది ఒకే 80 GB GPUలో సరిపోతుంది (OpenAI). ఒక నిర్దిష్ట మోడల్ కోసం దాని పేజీ తెరవండి: ప్రతి ఓపెన్ మోడల్, దానికి కావాల్సిన Mac, ఉదాహరణకు gpt-oss-120b లేదా Llama 3.3 70B.
3కాంటెక్స్ట్ కూడా మెమరీ తీసుకుంటుంది
మోడల్ చదువుతూ, రాస్తూ ఉన్నప్పుడు, ప్రతి లేయర్‌లో సంభాషణలోని ప్రతి టోకెన్కు ఒక key, ఒక valueను ఉంచుకుంటుంది: అదే KV cache. దాని సైజు 2 × లేయర్‌లు × KV హెడ్‌లు × హెడ్ సైజు × ఒక్కో విలువకు బైట్లు × టోకెన్‌లు.
ఉదాహరణకు Qwen3 8Bకి 36 లేయర్‌లు, 8 KV హెడ్‌లు, 128 హెడ్ సైజు ఉన్నాయి, 16-bitలో నిల్వ అవుతాయి (config). అంటే ఒక్కో టోకెన్కు 147,456 బైట్లు:
| కాంటెక్స్ట్ | Qwen3 8Bకి KV cache (16-bit) |
|---|---|
| 8,192 టోకెన్‌లు | సుమారు 1.2 GB |
| 32,768 టోకెన్‌లు | సుమారు 4.8 GB |
| 40,960 టోకెన్‌లు (దాని పూర్తి కాంటెక్స్ట్) | సుమారు 6.0 GB |
ఈ మోడల్ లాగా grouped-query attention ఉన్న మోడల్లు attention హెడ్‌ల కంటే తక్కువ KV హెడ్‌లను ఉంచుతాయి (32కి 8), అది ఇప్పటికే cacheను నాలుగో వంతుకు తగ్గిస్తుంది. cacheను క్వాంటైజ్ చేసి ఇంకా ఆదా చేయవచ్చు: mlx-lm సర్వర్ --kv-bits 4 తీసుకుంటుంది (mlx-lm). చాట్‌కు కొన్ని వేల టోకెన్ల కాంటెక్స్ట్ చాలు; ఏజెంట్‌లు, పొడవైన డాక్యుమెంట్‌లు లేదా కోడ్ కోసం కొన్ని గిగాబైట్లు కేటాయించండి.
4Macలో ఎంత పెద్ద మోడల్ సరిపోతుంది
Mac మెమరీని CPU, GPU పంచుకుంటాయి, macOS డిఫాల్ట్గా GPUకి దానిలో ఒక భాగాన్నే వాడుకోనిస్తుంది. మా Compare పేజీ సుమారు 75% లెక్కిస్తుంది; macOS 15 లేదా ఆ తర్వాత sudo sysctl iogpu.wired_limit_mb=Nతో ఆ పరిమితిని ఎలా పెంచాలో mlx-lm README చూపిస్తుంది (mlx-lm), కానీ macOSకు, మీ ఇతర యాప్‌లకు ఇంకా చోటు కావాలి.
| Mac మెమరీ | GPUకి (సుమారు 75%) | 4-bitలో అతిపెద్ద మోడల్ | 8-bitలో అతిపెద్దది |
|---|---|---|---|
| 8 GB | 6 GB | సుమారు 10B | సుమారు 5B |
| 16 GB | 12 GB | సుమారు 21B | సుమారు 11B |
| 24 GB | 18 GB | సుమారు 32B | సుమారు 16B |
| 32 GB | 24 GB | సుమారు 42B | సుమారు 22B |
| 36 GB | 27 GB | సుమారు 48B | సుమారు 25B |
| 48 GB | 36 GB | సుమారు 64B | సుమారు 33B |
| 64 GB | 48 GB | సుమారు 85B | సుమారు 45B |
| 96 GB | 72 GB | సుమారు 128B | సుమారు 67B |
| 128 GB | 96 GB | సుమారు 170B | సుమారు 90B |
| 256 GB | 192 GB | సుమారు 341B | సుమారు 180B |
| 512 GB | 384 GB | సుమారు 682B | సుమారు 361B |
ఏది సరిపోతుందో మెమరీ నిర్ణయిస్తుంది; అది ఎంత వేగంగా రాస్తుందో మెమరీ బ్యాండ్‌విడ్త్ నిర్ణయిస్తుంది. రెండో సగాన్ని లోకల్ LLMలకు ఉత్తమ Mac వివరిస్తుంది, ర్యాంక్ చేసిన ప్రతి Mac రెండింటినీ కలిపి చూపిస్తుంది.
5RAM, VRAM, యూనిఫైడ్ మెమరీ
గ్రాఫిక్స్ కార్డ్ ఉన్న PCపై, మోడల్ కార్డ్ సొంత మెమరీ అయిన VRAMలో సరిపోతేనే పూర్తి వేగంతో నడుస్తుంది: RTX 5090లో 32 GB (NVIDIA). సరిపోని లేయర్‌లు PC సిస్టమ్ RAM నుంచి నడవగలవు, కానీ ఆ మెమరీని చదవడం చాలా నెమ్మది, కాబట్టి మోడల్ బాగా నెమ్మదిస్తుంది.
Macకు వేరే VRAM ఉండదు: GPU కూడా CPU చదివే అదే యూనిఫైడ్ మెమరీని చదువుతుంది; అందుకే 64 GB లేదా 128 GB ఉన్న Mac ఏ ఒక్క కన్స్యూమర్ గ్రాఫిక్స్ కార్డ్ పట్టలేని మోడల్‌లను పట్టుకోగలదు. కొన్ని PCలు ఇప్పుడు ఇదే విధంగా పనిచేస్తాయి, ఉదాహరణకు CPU, GPU మధ్య 128 GB పంచుకునే NVIDIA DGX Spark, AMD Ryzen AI Max మెషీన్‌లు: M5 Max vs DGX Spark, M5 Max vs RTX 5090 చూడండి.
6Mixture-of-experts మోడల్లు
Mixture-of-experts మోడల్ తన పారామీటర్‌లన్నింటినీ మెమరీలో ఉంచుకుంటుంది, కానీ ప్రతి టోకెన్కు వాటిలో కొన్నింటినే వాడుతుంది. మెమరీ మొత్తాన్ని అనుసరిస్తుంది; వేగం యాక్టివ్ భాగాన్ని అనుసరిస్తుంది. gpt-oss-20bకి 21 బిలియన్ పారామీటర్‌లు, అందులో 3.6 బిలియన్ యాక్టివ్ (OpenAI): దానికి 21B మోడల్ అంత మెమరీ కావాలి, 4B మోడల్ అంత వేగంగా రాస్తుంది.
అందుకే mixture-of-experts మోడల్లు Macలకు బాగా సరిపోతాయి; గ్రాఫిక్స్ కార్డ్‌లతో పోలిస్తే Macలకు బ్యాండ్‌విడ్త్ కంటే మెమరీ ఎక్కువ. ప్రతి ప్రముఖ మోడల్కు Compare రెండు సంఖ్యలనూ చూపిస్తుంది.
7ప్రశ్నలు
- 70B మోడల్ నడపడానికి ఎంత RAM కావాలి?
- 4-bitలో వెయిట్లకు సుమారు 39 GB, దానిపై కాంటెక్స్ట్: ఆచరణలో 64 GB లేదా అంతకంటే ఎక్కువ ఉన్న Mac, లేదా పలు గ్రాఫిక్స్ కార్డ్లు. 8-bitలో సుమారు 74 GB కావాలి, కాబట్టి 128 GB.
- LLM నడపడానికి 16 GB RAM సరిపోతుందా?
- అవును, 4-bitలో సుమారు 14B పారామీటర్ల వరకు మోడల్లకు: 16 GB Mac డిఫాల్ట్గా GPUకి సుమారు 12 GB ఇస్తుంది. 8B మోడల్లు కాంటెక్స్ట్కు చోటుతో సౌకర్యంగా నడుస్తాయి. 16 GB Macకు ఉత్తమ LLMలు చూడండి.
- 8B మోడల్కు ఎంత VRAM కావాలి?
- 4-bitలో సుమారు 4.5 GB, 8-bitలో 8.5 GB, 16-bitలో 16 GB; దానిపై Qwen3 8B విషయంలో 8,000 టోకెన్ల కాంటెక్స్ట్కు సుమారు 1.2 GB.
- కాంటెక్స్ట్ పొడవు మెమరీ వాడుతుందా?
- అవును. సంభాషణలోని ప్రతి టోకెన్తో KV cache పెరుగుతుంది. Qwen3 8Bకి 16-bitలో అది ఒక్కో టోకెన్కు సుమారు 147 KB: 32,000 టోకెన్ల వద్ద సుమారు 4.8 GB.
- నా RAM కంటే పెద్ద మోడల్ను నడపగలనా?
- ఉపయోగకరంగా కాదు. వెయిట్లు సరిపోకపోతే, సిస్టమ్ swap చేస్తుంది లేదా నెమ్మదైన మెమరీ నుంచి చదువుతుంది, అవుట్పుట్ దాదాపు ఆగిపోయేంత నెమ్మదిస్తుంది. తక్కువ ప్రెసిషన్, చిన్న మోడల్ లేదా mixture-of-experts మోడల్ వాడండి, లేదా దాన్ని పలు మెషీన్లపై పంచండి: Mac AI క్లస్టర్లు చూడండి.