ટૂંકમાં
- 16 GB: ફક્ત નાનાં સામાન્ય મૉડલ આરામથી ચાલે છે; Qwen3 Coder 30B A3B ફક્ત નીચી પ્રિસિઝન પર સમાય છે. 24 GB: Devstral Small 2 (24B). 32–64 GB: 4-bit પર Qwen3 Coder 30B A3B અને Devstral Small 2.
- 96 GB અને વધુ: Qwen3 Coder Next (80B, 3B સક્રિય). 128 GB: Devstral 2 (123B) પણ, ધીમે. 512 GB: Kimi K2.7 Code, નીચી પ્રિસિઝન પર.
- Mixture-of-experts કોડર દરેક ટોકન માટે થોડા અબજ વેઇટ જ વાંચે છે, એટલે એ જ Mac પર Qwen3 Coder 30B A3B dense Devstral Small 2 કરતાં કેટલાય ગણું ઝડપથી લખી શકે છે.
- કોડિંગ એજન્ટ લાંબા પ્રૉમ્પ્ટ મોકલે છે: કૉન્ટેક્સ્ટ માટે કેટલાક GB રાખો, અને LLMને કેટલી RAM જોઈએ તપાસો.
1મેમરી પ્રમાણે સારી રીતે ચાલતાં કોડિંગ મૉડલ
"સારી રીતે ચાલે" એટલે તે કૉન્ટેક્સ્ટ માટે જગ્યા સાથે 4-bit કે વધુ પ્રિસિઝન પર સમાય, પ્રતિ સેકન્ડ 10 કે વધુ ટોકન પર, દરેક Mac પેજ જેવો જ નિયમ. અમારા ઓપન મૉડલના કૅટલૉગમાંથી કોડ માટે બનેલાં મૉડલ, વત્તા એ કદ પર સારી રીતે ચાલતું સૌથી ઊંચા Artificial Analysis Intelligence Indexવાળું સામાન્ય મૉડલ, જે કોડ પણ લખે છે:
| Mac મેમરી | કોડ માટે બનેલાં | સૌથી મજબૂત સામાન્ય મૉડલ |
|---|---|---|
| 16 GB | Qwen3 Coder 30B A3B ફક્ત નીચી પ્રિસિઝન પર | MiniCPM5 2B |
| 24 GB | Devstral Small 2 | MiniCPM5 2B |
| 32 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 48 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 64 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 96 GB | Qwen3 Coder Next, Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 128 GB | Qwen3 Coder Next, Devstral 2 (123B) (ધીમું) | Qwen3.8 27B |
| 256 GB | Qwen3 Coder Next, Devstral 2 (ધીમું) | Qwen3.8 Flash Next |
| 512 GB | Kimi K2.7 Code નીચી પ્રિસિઝન પર, Qwen3 Coder Next | DeepSeek V4.1 Flash 1017 |
2Mixture-of-experts કોડર કેમ ઝડપી લાગે છે
લખવાની ઝડપ દરેક ટોકન માટે વેઇટના કેટલા byte વંચાય તેનાથી મર્યાદિત થાય છે. Dense મૉડલ બધા વાંચે છે; mixture-of-experts મૉડલ ફક્ત પોતાનો સક્રિય ભાગ. M5 Proવાળા Mac mini પર (307 GB/s, Apple), 4-bit પર:
| મૉડલ | પૅરામીટર | પ્રતિ ટોકન વંચાય | એક ચૅટ માટે ટોચમર્યાદા |
|---|---|---|---|
| Qwen3 Coder 30B A3B | કુલ 30.5B, 3.3B સક્રિય | આશરે 1.9 GB | આશરે 165 ટોકન/s |
| Devstral Small 2 | 24B, dense | આશરે 13.5 GB | આશરે 23 ટોકન/s |
ઝડપ એટલે ગુણવત્તા નહીં: એ જ મેમરીમાં dense મૉડલ વધુ સારો કોડર હોઈ શકે. બંનેને તમારા પોતાના કોડ પર અજમાવો.
3કૉન્ટેક્સ્ટ માટે જગ્યા રાખો
કોડિંગ ટૂલ ઘણું લખાણ મોકલે છે: કામમાં રહેલી ફાઇલો, ટૂલનાં વર્ણનો અને અત્યાર સુધીની વાતચીત. એ કૉન્ટેક્સ્ટ મૉડલની સાથે મેમરીમાં, KV cacheમાં, રહે છે અને દરેક ટોકન સાથે વધે છે. Qwen3 8B માટે 32,000 ટોકન આશરે 4.8 GB લે છે (ગણતરી અહીં). મોટાં મૉડલને પ્રતિ ટોકન વધુ જોઈએ.
એટલે મૉડલ માંડ સમાતું હોય ત્યારે કૉન્ટેક્સ્ટ દબાવવાને બદલે તેનાથી નાનું મૉડલ કે નીચી પ્રિસિઝન પસંદ કરો. લાંબા પ્રૉમ્પ્ટ પહેલો શબ્દ આવે તે પહેલાં વાંચવામાં પણ સમય લે છે; M5 પેઢી M4 કરતાં પ્રૉમ્પ્ટ ઝડપથી વાંચે છે (Apple).
4તેને તમારા એડિટર કે એજન્ટમાં વાપરો
કોડિંગ ટૂલ મૉડલ સાથે API દ્વારા વાત કરે છે. મૉડલ લોકલી ચલાવો અને ટૂલને તેનું સરનામું આપો:
- LM Studioનું લોકલ સર્વર OpenAI અને Anthropic ફૉર્મેટ સમજે છે, અને LM Studio પાસે Claude Code, Codex, OpenClaw અને Hermes Agent માટે સેટઅપ ગાઇડ છે (LM Studio).
- mlx-lm:
mlx_lm.server --model <model>પોર્ટ 8080 પર OpenAI-શૈલીનો API આપે છે (mlx-lm). - Ollama પણ OpenAI-સુસંગત API આપે છે: Mac પર LLM ચલાવવા માટેની શ્રેષ્ઠ ઍપ તેમની સરખામણી કરે છે.
એજન્ટ ટૂલ વાપરે છે, એટલે મૉડલે સર્વર સમજે તેવા ફૉર્મેટમાં ટૂલ કૉલ બનાવવા પડે. Qwen3 Coder અને Devstral જેવાં કોડ અને એજન્ટ માટે બનેલાં મૉડલ તેના માટે ટ્રેન થયેલાં છે; નાનાં સામાન્ય મૉડલ તેમાં ઘણી વાર ભરોસાપાત્ર નથી હોતાં.
AI App Store ની કોડિંગ શ્રેણી માં Claude Code અને Codex જેવા કોડિંગ એજન્ટ અને એડિટર છે, દરેક સાથે બનાવનારનું સત્તાવાર ડાઉનલોડ, કિંમત અને તમારો ડેટા ક્યાં જાય છે.
5પ્રશ્નો
- 32 GB Mac માટે શ્રેષ્ઠ લોકલ કોડિંગ LLM કયું?
- Qwen3 Coder 30B A3B અને Devstral Small 2 બંને 4-bit પર સારી રીતે ચાલે છે. Qwen3 Coder ઘણું ઝડપથી લખે છે, કારણ કે તેના 30.5B પૅરામીટરમાંથી ફક્ત 3.3B પ્રતિ ટોકન વંચાય છે; બંનેને તમારા પોતાના કોડ પર અજમાવો.
- શું 16 GB Mac કોડિંગ મૉડલ ચલાવી શકે?
- નાનાં મૉડલ, હા. Qwen3 Coder 30B A3B 16 GBમાં ફક્ત નીચી પ્રિસિઝન પર સમાય છે, કૉન્ટેક્સ્ટ માટે થોડી જ જગ્યા સાથે. કોડિંગ એજન્ટ માટે 32 GB કે વધુથી શરૂઆત વધુ સારી છે.
- શું હું Claude Code કે Codexને લોકલ મૉડલ સાથે વાપરી શકું?
- હા. LM Studio પાસે બંને માટે સેટઅપ ગાઇડ છે: તેનું લોકલ સર્વર Claude Code વાપરે છે તે Anthropic ફૉર્મેટ અને Codex વાપરે છે તે OpenAI ફૉર્મેટ સમજે છે (LM Studio). તે કેટલું સારું કામ કરે છે તે તમે લોડ કરેલા મૉડલ પર આધાર રાખે છે.
- શું લોકલ કોડિંગ મૉડલ ક્લાઉડ જેટલું સારું છે?
- સૌથી મોટાં ઓપન મૉડલ ઘણાં કામમાં નજીક આવે છે, પણ તેમને 256 કે 512 GBવાળું Mac Studio જોઈએ. 32–64 GBમાં સમાતાં મૉડલ કમ્પ્લીશન, સમજૂતી અને નાનાં એજન્ટ કામ માટે ઉપયોગી છે, અને તમારો કોડ તમારા Mac પર રાખે છે.