క్లుప్తంగా
- 16 GB: చిన్న సాధారణ మోడల్లు మాత్రమే సౌకర్యంగా నడుస్తాయి; Qwen3 Coder 30B A3B తక్కువ ప్రెసిషన్లో మాత్రమే సరిపోతుంది. 24 GB: Devstral Small 2 (24B). 32–64 GB: 4-bitలో Qwen3 Coder 30B A3B, Devstral Small 2.
- 96 GB, ఆపైన: Qwen3 Coder Next (80B, 3B యాక్టివ్). 128 GB: Devstral 2 (123B) కూడా, నెమ్మదిగా. 512 GB: Kimi K2.7 Code, తక్కువ ప్రెసిషన్లో.
- Mixture-of-experts కోడర్‌లు ప్రతి టోకెన్కు కొన్ని బిలియన్ వెయిట్‌లనే చదువుతాయి, కాబట్టి అదే Macపై Qwen3 Coder 30B A3B dense Devstral Small 2 కంటే చాలా రెట్లు వేగంగా రాయగలదు.
- కోడింగ్ ఏజెంట్లు పొడవైన ప్రాంప్ట్‌లు పంపుతాయి: కాంటెక్స్ట్ కోసం కొన్ని గిగాబైట్లు వదలండి, LLMకు ఎంత RAM కావాలి చూడండి.
1మెమరీ ప్రకారం బాగా నడిచే కోడింగ్ మోడల్లు
"బాగా నడుస్తుంది" అంటే అది 4-bit లేదా మెరుగైన ప్రెసిషన్లో కాంటెక్స్ట్కు చోటుతో సరిపోతుంది, సెకనుకు 10 లేదా ఎక్కువ టోకెన్‌లతో; ప్రతి Mac పేజీ లాగే అదే నియమం. మా ఓపెన్ మోడల్‌ల కేటలాగ్ నుంచి కోడ్ కోసం తయారైన మోడల్లు, దానితో పాటు ఆ సైజులో బాగా నడిచే, అత్యధిక Artificial Analysis Intelligence Index ఉన్న సాధారణ మోడల్; అది కూడా కోడ్ రాస్తుంది:
| Mac మెమరీ | కోడ్ కోసం తయారైనవి | బలమైన సాధారణ మోడల్ |
|---|---|---|
| 16 GB | Qwen3 Coder 30B A3B తక్కువ ప్రెసిషన్లో మాత్రమే | MiniCPM5 2B |
| 24 GB | Devstral Small 2 | MiniCPM5 2B |
| 32 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 48 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 64 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 96 GB | Qwen3 Coder Next, Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 128 GB | Qwen3 Coder Next, Devstral 2 (123B) (నెమ్మది) | Qwen3.8 27B |
| 256 GB | Qwen3 Coder Next, Devstral 2 (నెమ్మది) | Qwen3.8 Flash Next |
| 512 GB | Kimi K2.7 Code తక్కువ ప్రెసిషన్లో, Qwen3 Coder Next | DeepSeek V4.1 Flash 1017 |
2Mixture-of-experts కోడర్‌లు ఎందుకు వేగంగా అనిపిస్తాయి
రాసే వేగాన్ని పరిమితం చేసేది ప్రతి టోకెన్కు ఎన్ని బైట్ల వెయిట్‌లు చదవాలనేదే. Dense మోడల్ అన్నింటినీ చదువుతుంది; mixture-of-experts మోడల్ తన యాక్టివ్ భాగాన్ని మాత్రమే. M5 Pro ఉన్న Mac miniపై (307 GB/s, Apple), 4-bitలో:
| మోడల్ | పారామీటర్‌లు | ఒక్కో టోకెన్కు చదివేది | ఒక చాట్‌కు గరిష్ఠ పరిమితి |
|---|---|---|---|
| Qwen3 Coder 30B A3B | మొత్తం 30.5B, 3.3B యాక్టివ్ | సుమారు 1.9 GB | సెకనుకు సుమారు 165 టోకెన్‌లు |
| Devstral Small 2 | 24B, dense | సుమారు 13.5 GB | సెకనుకు సుమారు 23 టోకెన్‌లు |
వేగం నాణ్యత కాదు: అదే మెమరీలో dense మోడల్ మెరుగైన కోడర్ కావచ్చు. రెండింటినీ మీ సొంత కోడ్పై ప్రయత్నించండి.
3కాంటెక్స్ట్కు చోటు వదలండి
కోడింగ్ టూల్స్ చాలా టెక్స్ట్ పంపుతాయి: పనిలో ఉన్న ఫైల్‌లు, టూల్ వివరణలు, ఇప్పటి వరకు జరిగిన సంభాషణ. ఆ కాంటెక్స్ట్ మోడల్ పక్కనే మెమరీలో, KV cacheలో ఉంటుంది, ప్రతి టోకెన్‌తో పెరుగుతుంది. Qwen3 8Bకి 32,000 టోకెన్‌లు సుమారు 4.8 GB తీసుకుంటాయి (ఇక్కడ లెక్కించాం). పెద్ద మోడల్‌లకు ఒక్కో టోకెన్కు ఎక్కువ కావాలి.
కాబట్టి మోడల్ అతికష్టంగా సరిపోతుంటే, కాంటెక్స్ట్‌ను కుదించడం కంటే తర్వాతి చిన్న మోడల్‌ను లేదా తక్కువ ప్రెసిషన్‌ను ఎంచుకోండి. పొడవైన ప్రాంప్ట్‌లను మొదటి పదం కనిపించే ముందు చదవడానికి కూడా సమయం పడుతుంది; M5 తరం M4 కంటే ప్రాంప్ట్‌లను వేగంగా చదువుతుంది (Apple).
4మీ ఎడిటర్ లేదా ఏజెంట్‌లో వాడండి
కోడింగ్ టూల్స్ ఒక API ద్వారా మోడల్తో మాట్లాడతాయి. మోడల్‌ను లోకల్‌గా నడిపి, టూల్‌ను దానికి చూపించండి:
- LM Studio లోకల్ సర్వర్ OpenAI, Anthropic ఫార్మాట్లను అర్థం చేసుకుంటుంది, Claude Code, Codex, OpenClaw, Hermes Agent కోసం LM Studioలో సెటప్ గైడ్లు ఉన్నాయి (LM Studio).
- mlx-lm:
mlx_lm.server --model <model>పోర్ట్ 8080పై OpenAI-శైలి APIని అందిస్తుంది (mlx-lm). - Ollama కూడా OpenAI-అనుకూల APIని అందిస్తుంది: Macపై LLMలు నడపడానికి ఉత్తమ యాప్‌లు వాటిని పోలుస్తుంది.
ఏజెంట్లు టూల్స్‌ను కాల్ చేస్తాయి, కాబట్టి మోడల్ సర్వర్ అర్థం చేసుకునే ఫార్మాట్‌లో టూల్ కాల్‌లు ఇవ్వాలి. Qwen3 Coder, Devstral లాంటి కోడ్, ఏజెంట్‌ల కోసం తయారైన మోడల్‌లకు దీనిలో ట్రైనింగ్ ఉంటుంది; చిన్న సాధారణ మోడల్లు దీనిలో తరచుగా నమ్మదగినవి కావు.
AI App Store కోడింగ్ విభాగంలో Claude Code, Codex వంటి కోడింగ్ ఏజెంట్లు, ఎడిటర్లు ఉన్నాయి; ప్రతిదానికీ తయారీదారు అధికారిక డౌన్‌లోడ్, ధర, మీ డేటా ఎక్కడికి వెళ్తుందో ఉంటాయి.
5ప్రశ్నలు
- 32 GB Macకు ఉత్తమ లోకల్ కోడింగ్ LLM ఏది?
- Qwen3 Coder 30B A3B, Devstral Small 2 రెండూ 4-bitలో బాగా నడుస్తాయి. Qwen3 Coder చాలా వేగంగా రాస్తుంది, ఎందుకంటే దాని 30.5B పారామీటర్లలో ఒక్కో టోకెన్కు 3.3B మాత్రమే చదువుతుంది; రెండింటినీ మీ సొంత కోడ్పై ప్రయత్నించండి.
- 16 GB Mac కోడింగ్ మోడల్ నడపగలదా?
- చిన్న మోడల్లు, అవును. Qwen3 Coder 30B A3B 16 GBలో తక్కువ ప్రెసిషన్లో మాత్రమే సరిపోతుంది, కాంటెక్స్ట్కు కొద్ది చోటుతో. కోడింగ్ ఏజెంట్లకు 32 GB లేదా ఎక్కువతో మొదలుపెట్టడం మంచిది.
- Claude Code లేదా Codexను లోకల్ మోడల్తో వాడగలనా?
- అవును. LM Studioలో రెండింటికీ సెటప్ గైడ్లు ఉన్నాయి: దాని లోకల్ సర్వర్ Claude Code వాడే Anthropic ఫార్మాట్ను, Codex వాడే OpenAI ఫార్మాట్ను అర్థం చేసుకుంటుంది (LM Studio). అవి ఎంత బాగా పనిచేస్తాయనేది మీరు లోడ్ చేసే మోడల్పై ఆధారపడుతుంది.
- లోకల్ కోడింగ్ మోడల్ క్లౌడ్ మోడల్ అంత మంచిదా?
- అతిపెద్ద ఓపెన్ మోడల్లు చాలా పనుల్లో దగ్గరగా వస్తాయి, కానీ వాటికి 256 లేదా 512 GB ఉన్న Mac Studio కావాలి. 32–64 GBలో సరిపోయే మోడల్లు కంప్లీషన్, వివరణలు, చిన్న ఏజెంట్ పనులకు ఉపయోగపడతాయి, మీ కోడ్ను మీ Macపైనే ఉంచుతాయి.