সংক্ষেপে
- 16 GB: শুধু ছোট সাধারণ মডেল স্বচ্ছন্দে চলে; Qwen3 Coder 30B A3B ধরে কেবল কম প্রিসিশনে। 24 GB: Devstral Small 2 (24B)। 32–64 GB: 4-bit-এ Qwen3 Coder 30B A3B আর Devstral Small 2।
- 96 GB ও বেশি: Qwen3 Coder Next (80B, 3B সক্রিয়)। 128 GB: Devstral 2 (123B)-ও, ধীরে। 512 GB: Kimi K2.7 Code, কম প্রিসিশনে।
- মিক্সচার-অফ-এক্সপার্টস কোডার প্রতি টোকেনে মাত্র কয়েক বিলিয়ন ওয়েট পড়ে, তাই একই Mac-এ Qwen3 Coder 30B A3B ডেন্স Devstral Small 2-এর চেয়ে কয়েক গুণ দ্রুত লিখতে পারে।
- কোডিং এজেন্ট লম্বা প্রম্পট পাঠায়: কনটেক্সটের জন্য কয়েক গিগাবাইট রাখুন, আর দেখুন LLM চালাতে কত RAM লাগে।
1মেমরি অনুযায়ী ভালো চলা কোডিং মডেল
"ভালো চলে" মানে 4-bit বা তার বেশি প্রিসিশনে কনটেক্সটের জায়গা রেখে ধরে, সেকেন্ডে 10 বা তার বেশি টোকেনে, প্রতিটি Mac পাতার একই নিয়ম। আমাদের ওপেন মডেলের ক্যাটালগ থেকে কোডের জন্য তৈরি মডেলগুলো, সঙ্গে সেই সাইজে ভালো চলা সর্বোচ্চ Artificial Analysis Intelligence Index-এর সাধারণ মডেল, যা কোডও লেখে:
| Mac মেমরি | কোডের জন্য তৈরি | সবচেয়ে শক্তিশালী সাধারণ মডেল |
|---|---|---|
| 16 GB | Qwen3 Coder 30B A3B শুধু কম প্রিসিশনে | MiniCPM5 2B |
| 24 GB | Devstral Small 2 | MiniCPM5 2B |
| 32 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 48 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 64 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 96 GB | Qwen3 Coder Next, Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 128 GB | Qwen3 Coder Next, Devstral 2 (123B) (ধীর) | Qwen3.8 27B |
| 256 GB | Qwen3 Coder Next, Devstral 2 (ধীর) | Qwen3.8 Flash Next |
| 512 GB | কম প্রিসিশনে Kimi K2.7 Code, Qwen3 Coder Next | DeepSeek V4.1 Flash 1017 |
2মিক্সচার-অফ-এক্সপার্টস কোডার কেন দ্রুত লাগে
লেখার গতি সীমিত হয় প্রতিটি টোকেনের জন্য কত বাইট ওয়েট পড়া হয় তাতে। ডেন্স মডেল সবটাই পড়ে; মিক্সচার-অফ-এক্সপার্টস মডেল পড়ে শুধু তার সক্রিয় অংশ। M5 Pro-র Mac mini-তে (307 GB/s, Apple), 4-bit-এ:
| মডেল | প্যারামিটার | প্রতি টোকেনে পড়া | একটি চ্যাটের সর্বোচ্চ সীমা |
|---|---|---|---|
| Qwen3 Coder 30B A3B | মোট 30.5B, 3.3B সক্রিয় | প্রায় 1.9 GB | প্রায় 165 টোকেন/s |
| Devstral Small 2 | 24B, ডেন্স | প্রায় 13.5 GB | প্রায় 23 টোকেন/s |
গতি মানেই মান নয়: একই মেমরিতে ডেন্স মডেল ভালো কোডার হতে পারে। দুটোই নিজের কোডে চালিয়ে দেখুন।
3কনটেক্সটের জন্য জায়গা রাখুন
কোডিং টুল অনেক টেক্সট পাঠায়: কাজের ফাইলগুলো, টুলের বিবরণ আর এ পর্যন্ত কথোপকথন। এই কনটেক্সট মডেলের পাশেই মেমরিতে থাকে, KV cache-এ, আর প্রতিটি টোকেনের সঙ্গে বাড়ে। Qwen3 8B-এ 32,000 টোকেন নেয় প্রায় 4.8 GB (হিসাব এখানে)। বড় মডেলের প্রতি টোকেনে আরও বেশি লাগে।
তাই কোনো মডেল কোনোমতে ধরলে কনটেক্সট ছেঁটে না দিয়ে পরের ছোট মডেল বা কম প্রিসিশন বাছুন। প্রথম শব্দ আসার আগে লম্বা প্রম্পট পড়তেও সময় লাগে; M5 প্রজন্ম M4-এর চেয়ে দ্রুত প্রম্পট পড়ে (Apple)।
4আপনার এডিটর বা এজেন্টে ব্যবহার করুন
কোডিং টুল একটি API দিয়ে মডেলের সঙ্গে কথা বলে। মডেল লোকালি চালান আর টুলটিকে সেদিকে দেখান:
- LM Studio-র লোকাল সার্ভার OpenAI ও Anthropic ফরম্যাট বোঝে, আর LM Studio-র Claude Code, Codex, OpenClaw ও Hermes Agent-এর সেটআপ গাইড আছে (LM Studio)।
- mlx-lm:
mlx_lm.server --model <model>পোর্ট 8080-এ OpenAI-ধাঁচের API দেয় (mlx-lm)। - Ollama-ও OpenAI-সামঞ্জস্যপূর্ণ API দেয়: Mac-এ LLM চালানোর সেরা অ্যাপ এদের তুলনা করে।
এজেন্ট টুল কল করে, তাই মডেলকে এমন ফরম্যাটে টুল কল তৈরি করতে হয় যা সার্ভার বোঝে। Qwen3 Coder আর Devstral-এর মতো কোড ও এজেন্টের জন্য তৈরি মডেল এর জন্য প্রশিক্ষিত; ছোট সাধারণ মডেল প্রায়ই এতে নির্ভরযোগ্য নয়।
AI App Store-এর কোডিং বিভাগে আছে Claude Code আর Codex-এর মতো কোডিং এজেন্ট ও এডিটর, প্রতিটির সঙ্গে নির্মাতার অফিসিয়াল ডাউনলোড, দাম আর আপনার ডেটা কোথায় যায়।
5প্রশ্নোত্তর
- 32 GB Mac-এর জন্য সেরা লোকাল কোডিং LLM কোনটি?
- 4-bit-এ Qwen3 Coder 30B A3B আর Devstral Small 2 দুটোই ভালো চলে। Qwen3 Coder অনেক দ্রুত লেখে, কারণ এর 30.5B প্যারামিটারের মধ্যে প্রতি টোকেনে মাত্র 3.3B পড়া হয়; দুটোই নিজের কোডে চালিয়ে দেখুন।
- 16 GB Mac কি কোডিং মডেল চালাতে পারে?
- ছোট মডেল, হ্যাঁ। Qwen3 Coder 30B A3B 16 GB-এ ধরে শুধু কম প্রিসিশনে, কনটেক্সটের জন্য সামান্য জায়গা রেখে। কোডিং এজেন্টের জন্য 32 GB বা বেশি দিয়ে শুরু করা ভালো।
- লোকাল মডেল দিয়ে কি Claude Code বা Codex ব্যবহার করা যায়?
- হ্যাঁ। LM Studio-র দুটোরই সেটআপ গাইড আছে: এর লোকাল সার্ভার Claude Code-এর ব্যবহৃত Anthropic ফরম্যাট আর Codex-এর ব্যবহৃত OpenAI ফরম্যাট বোঝে (LM Studio)। এরা কতটা ভালো কাজ করবে তা আপনার লোড করা মডেলের ওপর নির্ভর করে।
- লোকাল কোডিং মডেল কি ক্লাউডের মতো ভালো?
- সবচেয়ে বড় ওপেন মডেলগুলো অনেক কাজে কাছাকাছি আসে, কিন্তু সেগুলোর জন্য 256 বা 512 GB-এর Mac Studio লাগে। 32–64 GB-এ ধরা মডেলগুলো কমপ্লিশন, ব্যাখ্যা আর ছোট এজেন্ট কাজে কাজের, আর আপনার কোড আপনার Mac-এই রাখে।