थोडक्यात
- 16 GB: फक्त लहान सामान्य मॉडेल आरामात चालतात; Qwen3 Coder 30B A3B फक्त कमी प्रिसिजनवर बसते. 24 GB: Devstral Small 2 (24B). 32–64 GB: 4-बिटवर Qwen3 Coder 30B A3B आणि Devstral Small 2.
- 96 GB आणि त्यापुढे: Qwen3 Coder Next (80B, 3B सक्रिय). 128 GB: Devstral 2 (123B) सुद्धा, हळू. 512 GB: Kimi K2.7 Code, कमी प्रिसिजनवर.
- Mixture-of-experts कोडर प्रत्येक टोकनसाठी फक्त काही अब्ज वेट वाचतात, म्हणून त्याच Mac वर Qwen3 Coder 30B A3B, dense Devstral Small 2 पेक्षा अनेक पट वेगाने लिहू शकते.
- कोडिंग एजंट लांब प्रॉम्प्ट पाठवतात: कॉन्टेक्स्टसाठी अनेक गिगाबाइट सोडा, आणि LLM ला किती RAM लागते तपासा.
1मेमरीनुसार चांगली चालणारी कोडिंग मॉडेल
"चांगले चालते" म्हणजे ते 4-बिट किंवा त्याहून चांगल्या प्रिसिजनवर कॉन्टेक्स्टसाठी जागा ठेवून बसते, सेकंदाला 10 किंवा जास्त टोकन वेगाने; प्रत्येक Mac पेज वरचा हाच नियम. आमच्या ओपन मॉडेलच्या कॅटलॉगमधील कोडसाठी बनवलेली मॉडेल, आणि त्या आकारावर चांगले चालणारे, Artificial Analysis Intelligence Index सर्वाधिक असलेले सामान्य मॉडेल, जे कोडही लिहिते:
| Mac ची मेमरी | कोडसाठी बनवलेले | सर्वात सक्षम सामान्य मॉडेल |
|---|---|---|
| 16 GB | Qwen3 Coder 30B A3B फक्त कमी प्रिसिजनवर | MiniCPM5 2B |
| 24 GB | Devstral Small 2 | MiniCPM5 2B |
| 32 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 48 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 64 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 96 GB | Qwen3 Coder Next, Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 128 GB | Qwen3 Coder Next, Devstral 2 (123B) (हळू) | Qwen3.8 27B |
| 256 GB | Qwen3 Coder Next, Devstral 2 (हळू) | Qwen3.8 Flash Next |
| 512 GB | Kimi K2.7 Code कमी प्रिसिजनवर, Qwen3 Coder Next | DeepSeek V4.1 Flash 1017 |
2Mixture-of-experts कोडर वेगवान का वाटतात
लिहिण्याचा वेग प्रत्येक टोकनसाठी किती बाइट वेट वाचावे लागतात यावर मर्यादित असतो. dense मॉडेल सगळे वेट वाचते; mixture-of-experts मॉडेल फक्त त्याचा सक्रिय भाग. M5 Pro असलेल्या Mac mini वर (307 GB/s, Apple), 4-बिटवर:
| मॉडेल | पॅरामीटर | प्रति टोकन वाचले जाते | एका चॅटसाठी कमाल मर्यादा |
|---|---|---|---|
| Qwen3 Coder 30B A3B | एकूण 30.5B, 3.3B सक्रिय | सुमारे 1.9 GB | सुमारे 165 टोकन/s |
| Devstral Small 2 | 24B, dense | सुमारे 13.5 GB | सुमारे 23 टोकन/s |
वेग म्हणजे गुणवत्ता नव्हे: त्याच मेमरीत dense मॉडेल चांगला कोडर असू शकतो. दोन्ही तुमच्या स्वतःच्या कोडवर वापरून पाहा.
3कॉन्टेक्स्टसाठी जागा सोडा
कोडिंग टूल्स भरपूर मजकूर पाठवतात: संबंधित फाइल्स, टूल्सचे वर्णन आणि आतापर्यंतचा संवाद. हा कॉन्टेक्स्ट मॉडेलशेजारी मेमरीत, KV cache मध्ये, ठेवला जातो आणि प्रत्येक टोकनसोबत वाढतो. Qwen3 8B साठी 32,000 टोकन सुमारे 4.8 GB घेतात (हिशेब इथे). मोठ्या मॉडेलना प्रति टोकन जास्त लागते.
म्हणून मॉडेल कसेबसे बसत असेल, तर कॉन्टेक्स्ट दाबण्याऐवजी पुढचे लहान मॉडेल किंवा कमी प्रिसिजन निवडा. पहिला शब्द येण्याआधी लांब प्रॉम्प्ट वाचायलाही वेळ लागतो; M5 पिढी M4 पेक्षा प्रॉम्प्ट वेगाने वाचते (Apple).
4तुमच्या एडिटर किंवा एजंटमध्ये वापरा
कोडिंग टूल्स मॉडेलशी API द्वारे बोलतात. मॉडेल लोकल चालवा आणि टूलला त्याचा पत्ता द्या:
- LM Studio चा लोकल सर्व्हर OpenAI आणि Anthropic फॉरमॅट समजतो, आणि LM Studio कडे Claude Code, Codex, OpenClaw आणि Hermes Agent साठी सेटअप मार्गदर्शक आहेत (LM Studio).
- mlx-lm:
mlx_lm.server --model <model>पोर्ट 8080 वर OpenAI-शैलीचा API देते (mlx-lm). - Ollama सुद्धा OpenAI-सुसंगत API देते: Mac वर LLM चालवण्यासाठी सर्वोत्तम ॲप्स त्यांची तुलना करते.
एजंट टूल्स वापरतात, म्हणून मॉडेलला सर्व्हरला समजेल अशा फॉरमॅटमध्ये टूल कॉल तयार करावे लागतात. Qwen3 Coder आणि Devstral सारखी कोड आणि एजंटसाठी बनवलेली मॉडेल यासाठी प्रशिक्षित आहेत; लहान सामान्य मॉडेल यात अनेकदा विश्वासार्ह नसतात.
AI App Store च्या कोडिंग विभागात Claude Code आणि Codex सारखे कोडिंग एजंट आणि एडिटर आहेत, प्रत्येकासोबत बनवणाऱ्याचा अधिकृत डाउनलोड, किंमत आणि तुमचा डेटा कुठे जातो.
5प्रश्न
- 32 GB Mac साठी सर्वोत्तम लोकल कोडिंग LLM कोणते?
- Qwen3 Coder 30B A3B आणि Devstral Small 2 दोन्ही 4-बिटवर चांगले चालतात. Qwen3 Coder खूप वेगाने लिहिते, कारण त्याच्या 30.5B पैकी फक्त 3.3B पॅरामीटर प्रति टोकन वाचले जातात; दोन्ही तुमच्या स्वतःच्या कोडवर वापरून पाहा.
- 16 GB Mac कोडिंग मॉडेल चालवू शकतो का?
- लहान मॉडेल, हो. Qwen3 Coder 30B A3B 16 GB मध्ये फक्त कमी प्रिसिजनवर बसते, कॉन्टेक्स्टसाठी थोडीच जागा ठेवून. कोडिंग एजंटसाठी 32 GB किंवा जास्त ही चांगली सुरुवात आहे.
- Claude Code किंवा Codex लोकल मॉडेलसोबत वापरता येतात का?
- हो. LM Studio कडे दोन्हींसाठी सेटअप मार्गदर्शक आहेत: त्याचा लोकल सर्व्हर Claude Code वापरत असलेला Anthropic फॉरमॅट आणि Codex वापरत असलेला OpenAI फॉरमॅट समजतो (LM Studio). ते किती चांगले काम करतात हे तुम्ही लोड केलेल्या मॉडेलवर अवलंबून असते.
- लोकल कोडिंग मॉडेल क्लाउड मॉडेलइतके चांगले असते का?
- सर्वात मोठी ओपन मॉडेल अनेक कामांत जवळ येतात, पण त्यांना 256 किंवा 512 GB चा Mac Studio लागतो. 32–64 GB मध्ये बसणारी मॉडेल कंप्लिशन, स्पष्टीकरणे आणि लहान एजंट कामांसाठी उपयोगी आहेत, आणि तुमचा कोड तुमच्या Mac वरच ठेवतात.