संक्षेप में
- 16 GB: सिर्फ़ छोटे जनरल मॉडल आराम से चलते हैं; Qwen3 Coder 30B A3B सिर्फ़ कम प्रिसिज़न पर आता है। 24 GB: Devstral Small 2 (24B)। 32–64 GB: 4-bit पर Qwen3 Coder 30B A3B और Devstral Small 2।
- 96 GB और ऊपर: Qwen3 Coder Next (80B, 3B सक्रिय)। 128 GB: Devstral 2 (123B) भी, धीरे। 512 GB: Kimi K2.7 Code, कम प्रिसिज़न पर।
- Mixture-of-experts कोडर हर टोकन के लिए सिर्फ़ कुछ अरब वेट पढ़ते हैं, इसलिए उसी Mac पर Qwen3 Coder 30B A3B डेंस Devstral Small 2 से कई गुना तेज़ लिख सकता है।
- कोडिंग एजेंट लंबे प्रॉम्प्ट भेजते हैं: कॉन्टेक्स्ट के लिए कई गीगाबाइट छोड़ें, और देखें LLM को कितनी RAM चाहिए।
1मेमोरी के हिसाब से अच्छे चलने वाले कोडिंग मॉडल
"अच्छे से चलता है" का मतलब: 4-bit या उससे बेहतर पर कॉन्टेक्स्ट की जगह के साथ आता है, 10 या ज़्यादा टोकन प्रति सेकंड पर, वही नियम जो हर Mac पेज पर है। हमारे ओपन मॉडल कैटलॉग से कोड के लिए बने मॉडल, और साथ में उस साइज़ पर अच्छे से चलने वाला सबसे ऊँचे Artificial Analysis Intelligence Index वाला जनरल मॉडल, जो कोड भी लिखता है:
| Mac की मेमोरी | कोड के लिए बना | सबसे मज़बूत जनरल मॉडल |
|---|---|---|
| 16 GB | Qwen3 Coder 30B A3B सिर्फ़ कम प्रिसिज़न पर | MiniCPM5 2B |
| 24 GB | Devstral Small 2 | MiniCPM5 2B |
| 32 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 48 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 64 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 96 GB | Qwen3 Coder Next, Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 128 GB | Qwen3 Coder Next, Devstral 2 (123B) (धीमा) | Qwen3.8 27B |
| 256 GB | Qwen3 Coder Next, Devstral 2 (धीमा) | Qwen3.8 Flash Next |
| 512 GB | Kimi K2.7 Code कम प्रिसिज़न पर, Qwen3 Coder Next | DeepSeek V4.1 Flash 1017 |
2Mixture-of-experts कोडर तेज़ क्यों लगते हैं
लिखने की स्पीड इस बात से सीमित है कि हर टोकन के लिए वेट के कितने बाइट पढ़े जाते हैं। डेंस मॉडल सारे पढ़ता है; mixture-of-experts मॉडल सिर्फ़ अपना सक्रिय हिस्सा। M5 Pro वाले Mac mini पर (307 GB/s, Apple), 4-bit पर:
| मॉडल | पैरामीटर | प्रति टोकन पढ़ा जाता है | एक चैट के लिए ऊपरी सीमा |
|---|---|---|---|
| Qwen3 Coder 30B A3B | कुल 30.5B, 3.3B सक्रिय | लगभग 1.9 GB | लगभग 165 टोकन/सेकंड |
| Devstral Small 2 | 24B, डेंस | लगभग 13.5 GB | लगभग 23 टोकन/सेकंड |
स्पीड क्वालिटी नहीं है: उसी मेमोरी में डेंस मॉडल बेहतर कोडर हो सकता है। दोनों को अपने कोड पर आज़माएँ।
3कॉन्टेक्स्ट के लिए जगह छोड़ें
कोडिंग टूल बहुत सारा टेक्स्ट भेजते हैं: काम की फ़ाइलें, टूल के विवरण और अब तक की बातचीत। यह कॉन्टेक्स्ट मॉडल के साथ मेमोरी में, KV cache में, रहता है और हर टोकन के साथ बढ़ता है। Qwen3 8B के लिए 32,000 टोकन लगभग 4.8 GB लेते हैं (यहाँ हिसाब है)। बड़े मॉडल को प्रति टोकन ज़्यादा चाहिए।
इसलिए जब कोई मॉडल मुश्किल से आता हो, तो कॉन्टेक्स्ट दबाने के बजाय अगला छोटा मॉडल या कम प्रिसिज़न चुनें। लंबे प्रॉम्प्ट को पहला शब्द आने से पहले पढ़ने में भी समय लगता है; M5 पीढ़ी M4 से तेज़ प्रॉम्प्ट पढ़ती है (Apple)।
4इसे अपने एडिटर या एजेंट में इस्तेमाल करें
कोडिंग टूल किसी मॉडल से API के ज़रिए बात करते हैं। मॉडल लोकल चलाएँ और टूल को उसकी ओर इशारा करें:
- LM Studio का लोकल सर्वर OpenAI और Anthropic फ़ॉर्मैट समझता है, और LM Studio के पास Claude Code, Codex, OpenClaw और Hermes Agent के लिए सेटअप गाइड हैं (LM Studio)।
- mlx-lm:
mlx_lm.server --model <model>पोर्ट 8080 पर OpenAI जैसा API देता है (mlx-lm)। - Ollama भी OpenAI-संगत API देता है: Mac पर LLM चलाने के सबसे अच्छे ऐप्स में इनकी तुलना है।
एजेंट टूल कॉल करते हैं, इसलिए मॉडल को टूल कॉल उस फ़ॉर्मेट में बनाने होते हैं जो सर्वर समझता है। कोड और एजेंट के लिए बने मॉडल, जैसे Qwen3 Coder और Devstral, इसके लिए ट्रेन किए गए हैं; छोटे जनरल मॉडल अक्सर इसमें भरोसेमंद नहीं होते।
AI App Store की कोडिंग श्रेणी में Claude Code और Codex जैसे कोडिंग एजेंट और एडिटर हैं, हर एक के साथ बनाने वाले का आधिकारिक डाउनलोड, क़ीमत और आपका डेटा कहाँ जाता है।
5सवाल
- 32 GB Mac के लिए सबसे अच्छा लोकल कोडिंग LLM कौन-सा है?
- Qwen3 Coder 30B A3B और Devstral Small 2, दोनों 4-bit पर अच्छे से चलते हैं। Qwen3 Coder कहीं तेज़ लिखता है, क्योंकि हर टोकन के लिए इसके 30.5B में से सिर्फ़ 3.3B पैरामीटर पढ़े जाते हैं; दोनों को अपने कोड पर आज़माएँ।
- क्या 16 GB Mac कोडिंग मॉडल चला सकता है?
- छोटे मॉडल, हाँ। Qwen3 Coder 30B A3B 16 GB में सिर्फ़ कम प्रिसिज़न पर आता है, कॉन्टेक्स्ट के लिए कम जगह के साथ। कोडिंग एजेंट के लिए 32 GB या ज़्यादा बेहतर शुरुआत है।
- क्या मैं Claude Code या Codex को लोकल मॉडल के साथ इस्तेमाल कर सकता हूँ?
- हाँ। LM Studio के पास दोनों के लिए सेटअप गाइड हैं: उसका लोकल सर्वर वह Anthropic फ़ॉर्मैट समझता है जो Claude Code इस्तेमाल करता है और वह OpenAI फ़ॉर्मैट जो Codex इस्तेमाल करता है (LM Studio)। ये कितना अच्छा काम करते हैं, यह आपके लोड किए मॉडल पर निर्भर है।
- क्या लोकल कोडिंग मॉडल क्लाउड वाले जितना अच्छा है?
- सबसे बड़े ओपन मॉडल कई कामों में क़रीब आते हैं, लेकिन उन्हें 256 या 512 GB वाला Mac Studio चाहिए। 32–64 GB में आने वाले मॉडल कंप्लीशन, समझाने और छोटे एजेंट कामों के लिए उपयोगी हैं, और आपका कोड आपके Mac पर रखते हैं।