مختصر یہ کہ
- 16 GB: صرف چھوٹے عام ماڈلز آرام سے چلتے ہیں؛ Qwen3 Coder 30B A3B صرف کم پریسیژن پر سماتا ہے۔ 24 GB: Devstral Small 2 (24B)۔ 32–64 GB: 4-bit پر Qwen3 Coder 30B A3B اور Devstral Small 2۔
- 96 GB اور اوپر: Qwen3 Coder Next (80B، 3B فعال)۔ 128 GB: Devstral 2 (123B) بھی، آہستہ۔ 512 GB: Kimi K2.7 Code، کم پریسیژن پر۔
- Mixture-of-experts کوڈرز ہر ٹوکن کے لیے صرف چند ارب ویٹس پڑھتے ہیں، اس لیے اسی Mac پر Qwen3 Coder 30B A3B، dense ماڈل Devstral Small 2 سے کئی گنا تیز لکھ سکتا ہے۔
- کوڈنگ ایجنٹس لمبے پرامپٹس بھیجتے ہیں: کانٹیکسٹ کے لیے کئی گیگا بائٹس چھوڑیں، اور دیکھیں LLM کو کتنی RAM چاہیے۔
1میموری کے حساب سے اچھے چلنے والے کوڈنگ ماڈلز
"اچھا چلتا ہے" کا مطلب ہے کہ یہ 4-bit یا بہتر پر کانٹیکسٹ کی جگہ کے ساتھ سماتا ہے، 10 یا زیادہ ٹوکن فی سیکنڈ پر، وہی اصول جو ہر Mac کے صفحے پر ہے۔ ہمارے اوپن ماڈلز کے کیٹلاگ سے کوڈ کے لیے بنے ماڈلز، اور ساتھ وہ عام ماڈل جس کا Artificial Analysis Intelligence Index اس سائز پر اچھی طرح چلنے والوں میں سب سے زیادہ ہے، اور جو کوڈ بھی لکھتا ہے:
| Mac کی میموری | کوڈ کے لیے بنے | سب سے مضبوط عام ماڈل |
|---|---|---|
| 16 GB | Qwen3 Coder 30B A3B صرف کم پریسیژن پر | MiniCPM5 2B |
| 24 GB | Devstral Small 2 | MiniCPM5 2B |
| 32 GB | Qwen3 Coder 30B A3B، Devstral Small 2 | Qwen3.8 27B |
| 48 GB | Qwen3 Coder 30B A3B، Devstral Small 2 | Qwen3.8 27B |
| 64 GB | Qwen3 Coder 30B A3B، Devstral Small 2 | Qwen3.8 27B |
| 96 GB | Qwen3 Coder Next، Qwen3 Coder 30B A3B، Devstral Small 2 | Qwen3.8 27B |
| 128 GB | Qwen3 Coder Next، Devstral 2 (123B) (آہستہ) | Qwen3.8 27B |
| 256 GB | Qwen3 Coder Next، Devstral 2 (آہستہ) | Qwen3.8 Flash Next |
| 512 GB | Kimi K2.7 Code کم پریسیژن پر، Qwen3 Coder Next | DeepSeek V4.1 Flash 1017 |
2Mixture-of-experts کوڈرز تیز کیوں لگتے ہیں
لکھنے کی رفتار اس سے محدود ہوتی ہے کہ ہر ٹوکن کے لیے ویٹس کے کتنے بائٹس پڑھے جاتے ہیں۔ Dense ماڈل سب پڑھتا ہے؛ mixture-of-experts ماڈل صرف اپنا فعال حصہ۔ M5 Pro والے Mac mini پر (307 GB/s، Apple)، 4-bit پر:
| ماڈل | پیرامیٹرز | فی ٹوکن پڑھا جاتا ہے | ایک چیٹ کے لیے حد |
|---|---|---|---|
| Qwen3 Coder 30B A3B | کل 30.5B، فعال 3.3B | تقریباً 1.9 GB | تقریباً 165 ٹوکن فی سیکنڈ |
| Devstral Small 2 | 24B، dense | تقریباً 13.5 GB | تقریباً 23 ٹوکن فی سیکنڈ |
رفتار معیار نہیں: اسی میموری پر dense ماڈل بہتر کوڈر ہو سکتا ہے۔ دونوں کو اپنے کوڈ پر آزمائیں۔
3کانٹیکسٹ کے لیے جگہ چھوڑیں
کوڈنگ ٹولز بہت سا متن بھیجتے ہیں: زیرِ کام فائلیں، ٹولز کی تفصیل اور اب تک کی گفتگو۔ یہ کانٹیکسٹ ماڈل کے ساتھ میموری میں، KV cache میں، رکھا جاتا ہے اور ہر ٹوکن کے ساتھ بڑھتا ہے۔ Qwen3 8B کے لیے 32,000 ٹوکن تقریباً 4.8 GB لیتے ہیں (حساب یہاں)۔ بڑے ماڈلز کو فی ٹوکن زیادہ چاہیے۔
اس لیے جب کوئی ماڈل بمشکل سمائے تو کانٹیکسٹ کم کرنے کے بجائے اس سے اگلا چھوٹا ماڈل یا کم پریسیژن لیں۔ لمبے پرامپٹس کو پہلا لفظ آنے سے پہلے پڑھنے میں بھی وقت لگتا ہے؛ M5 جنریشن پرامپٹس M4 سے تیز پڑھتی ہے (Apple)۔
4اسے اپنے ایڈیٹر یا ایجنٹ میں استعمال کریں
کوڈنگ ٹولز ماڈل سے API کے ذریعے بات کرتے ہیں۔ ماڈل لوکل چلائیں اور ٹول کو اس کی طرف اشارہ کریں:
- LM Studio کا مقامی سرور OpenAI اور Anthropic فارمیٹس سپورٹ کرتا ہے، اور LM Studio کے پاس Claude Code، Codex، OpenClaw اور Hermes Agent کے سیٹ اپ گائیڈز ہیں (LM Studio)۔
- mlx-lm:
mlx_lm.server --model <model>پورٹ 8080 پر OpenAI طرز کا API دیتا ہے (mlx-lm)۔ - Ollama بھی OpenAI سے مطابقت رکھنے والا API دیتا ہے: Mac پر LLM چلانے کی بہترین ایپس ان کا موازنہ کرتا ہے۔
ایجنٹس ٹولز کال کرتے ہیں، اس لیے ماڈل کو ایسے فارمیٹ میں ٹول کالز بنانی ہوتی ہیں جو سرور سمجھے۔ کوڈ اور ایجنٹس کے لیے بنے ماڈلز، جیسے Qwen3 Coder اور Devstral، اسی کے لیے تربیت یافتہ ہیں؛ چھوٹے عام ماڈلز اکثر اس میں قابلِ اعتماد نہیں ہوتے۔
AI App Store کے کوڈنگ زمرے میں Claude Code اور Codex جیسے کوڈنگ ایجنٹس اور ایڈیٹرز ہیں، ہر ایک کے ساتھ بنانے والے کا آفیشل ڈاؤن لوڈ، قیمت اور آپ کا ڈیٹا کہاں جاتا ہے۔
5سوالات
- 32 GB Mac کے لیے بہترین لوکل کوڈنگ LLM کون سا ہے؟
- Qwen3 Coder 30B A3B اور Devstral Small 2 دونوں 4-bit پر اچھی طرح چلتے ہیں۔ Qwen3 Coder کہیں تیز لکھتا ہے کیونکہ اس کے 30.5B پیرامیٹرز میں سے فی ٹوکن صرف 3.3B پڑھے جاتے ہیں؛ دونوں کو اپنے کوڈ پر آزمائیں۔
- کیا 16 GB Mac کوڈنگ ماڈل چلا سکتا ہے؟
- چھوٹے ماڈلز، ہاں۔ Qwen3 Coder 30B A3B، 16 GB میں صرف کم پریسیژن پر سماتا ہے، کانٹیکسٹ کے لیے کم جگہ کے ساتھ۔ کوڈنگ ایجنٹس کے لیے 32 GB یا زیادہ بہتر آغاز ہے۔
- کیا میں Claude Code یا Codex لوکل ماڈل کے ساتھ استعمال کر سکتا ہوں؟
- ہاں۔ LM Studio کے پاس دونوں کے سیٹ اپ گائیڈز ہیں: اس کا مقامی سرور وہ Anthropic فارمیٹ سپورٹ کرتا ہے جو Claude Code استعمال کرتا ہے اور وہ OpenAI فارمیٹ جو Codex استعمال کرتا ہے (LM Studio)۔ یہ کتنا اچھا کام کرتے ہیں، اس کا انحصار آپ کے لوڈ کیے ہوئے ماڈل پر ہے۔
- کیا لوکل کوڈنگ ماڈل کلاؤڈ والے جتنا اچھا ہے؟
- سب سے بڑے اوپن ماڈلز بہت سے کاموں میں قریب آ جاتے ہیں، لیکن انہیں 256 یا 512 GB والا Mac Studio چاہیے۔ 32–64 GB میں سمانے والے ماڈلز کمپلیشن، وضاحتوں اور چھوٹے ایجنٹ کاموں کے لیے کارآمد ہیں، اور آپ کا کوڈ آپ کے Mac پر رکھتے ہیں۔