সংক্ষেপে
- ওয়েট: প্যারামিটার × প্রতি ওয়েটে bit ÷ 8। MLX-এর 4-bit ফরম্যাটে তা প্রতি বিলিয়ন প্যারামিটারে প্রায় 0.56 GB; 8-bit-এ প্রায় 1.06 GB, 16-bit-এ 2 GB।
- তাই কনটেক্সটের আগেই 4-bit-এ একটি 8B মডেলের প্রায় 4.5 GB, একটি 32B মডেলের প্রায় 18 GB আর একটি 70B মডেলের প্রায় 39 GB লাগে।
- কনটেক্সট (KV cache) এর ওপর যোগ হয় আর প্রতিটি টোকেনের সঙ্গে বাড়ে: Qwen3 8B-এ 32,000 টোকেনের কনটেক্সট নেয় প্রায় 4.8 GB, যা এর 4-bit ওয়েটের চেয়েও বেশি।
- Mac-এ GPU ডিফল্টভাবে ইউনিফায়েড মেমরির প্রায় 75% ব্যবহার করতে পারে, তাই 16 GB-এর Mac-এ মডেলের জন্য প্রায় 12 GB থাকে। PC-তে পুরো গতিতে চালাতে মডেলকে গ্রাফিক্স কার্ডের নিজস্ব VRAM-এ ধরতে হয়।
1নিয়ম: প্যারামিটার × bit
একটি মডেলের বেশিরভাগটাই তার ওয়েট: প্রতিটি প্যারামিটারের জন্য একটি সংখ্যা। 16 bit-এ রাখলে প্রতিটি নেয় 2 বাইট, তাই প্রতি বিলিয়ন প্যারামিটারে মডেলের 2 GB লাগে। কোয়ান্টাইজেশন প্রতিটি ওয়েট কম bit-এ রাখে, যা মডেলকে প্রায় সেই অনুপাতেই ছোট করে; 4 bit-এ বেশিরভাগ মডেল আসল মানের কাছাকাছি থাকে।
কোয়ান্টাইজড ফরম্যাট ওয়েটগুলো আবার গড়তে সামান্য বাড়তি তথ্যও রাখে। Apple-এর MLX ডিফল্টভাবে প্রতি 64টি ওয়েটের গ্রুপে একটি স্কেল ও একটি বায়াস রাখে, মডেলের নিজস্ব 16-bit টাইপে (MLX), যা প্রতি ওয়েটে আধা bit যোগ করে। তাতে সাইজগুলো দাঁড়ায় এরকম:
| প্রিসিশন | প্রতি ওয়েটে bit | প্রতি বিলিয়ন প্যারামিটারে GB |
|---|---|---|
| 16-bit (আসল) | 16 | 2.0 |
| 8-bit | 8.5 | প্রায় 1.06 |
| 6-bit | 6.5 | প্রায় 0.81 |
| 4-bit | 4.5 | প্রায় 0.56 |
| 3-bit | 3.5 | প্রায় 0.44 |
| 2-bit | 2.5 | প্রায় 0.31 |
4 bit-এর নিচে মান দ্রুত কমে। ভালো ডিফল্ট হলো এমন সর্বোচ্চ প্রিসিশন যা হাতে জায়গা রেখে ধরে।
2সাধারণ মডেল সাইজে কত মেমরি
| মডেল সাইজ | 16-bit | 8-bit | 4-bit | 3-bit |
|---|---|---|---|---|
| 1B | 2 GB | 1.1 GB | 0.6 GB | 0.4 GB |
| 3B | 6 GB | 3.2 GB | 1.7 GB | 1.3 GB |
| 8B | 16 GB | 8.5 GB | 4.5 GB | 3.5 GB |
| 14B | 28 GB | 14.9 GB | 7.9 GB | 6.1 GB |
| 32B | 64 GB | 34 GB | 18 GB | 14 GB |
| 70B | 140 GB | 74.4 GB | 39.4 GB | 30.6 GB |
| 120B | 240 GB | 127.5 GB | 67.5 GB | 52.5 GB |
| 235B | 470 GB | 249.7 GB | 132.2 GB | 102.8 GB |
| 405B | 810 GB | 430.3 GB | 227.8 GB | 177.2 GB |
| 671B | 1,342 GB | 712.9 GB | 377.4 GB | 293.6 GB |
কিছু মডেল নিজেই কম প্রিসিশনে আসে। OpenAI-এর gpt-oss-120b-এ 117 বিলিয়ন প্যারামিটার, আর এর মিক্সচার-অফ-এক্সপার্টস ওয়েট রাখা থাকে একটি 4-bit ফরম্যাটে, MXFP4, তাই এটি একটিমাত্র 80 GB GPU-তে ধরে (OpenAI)। নির্দিষ্ট কোনো মডেলের জন্য তার পাতা খুলুন: প্রতিটি ওপেন মডেল আর তার জন্য দরকারি Mac, যেমন gpt-oss-120b বা Llama 3.3 70B।
3কনটেক্সটও মেমরি নেয়
মডেল যখন পড়ে ও লেখে, তখন প্রতিটি লেয়ারে কথোপকথনের প্রতিটি টোকেনের জন্য একটি key আর একটি value রাখে: এটাই KV cache। এর সাইজ হলো 2 × লেয়ার × KV হেড × হেড সাইজ × প্রতি মানে বাইট × টোকেন।
যেমন Qwen3 8B-এ আছে 36টি লেয়ার, 8টি KV হেড আর হেড সাইজ 128, রাখা 16-bit-এ (config)। তাতে প্রতি টোকেনে 147,456 বাইট:
| কনটেক্সট | Qwen3 8B-এর KV cache (16-bit) |
|---|---|
| 8,192 টোকেন | প্রায় 1.2 GB |
| 32,768 টোকেন | প্রায় 4.8 GB |
| 40,960 টোকেন (এর পুরো কনটেক্সট) | প্রায় 6.0 GB |
এটির মতো grouped-query attention-যুক্ত মডেল অ্যাটেনশন হেডের চেয়ে কম KV হেড রাখে (32-এর বদলে 8), যা ক্যাশকে আগেই চার ভাগের এক ভাগে নামায়। ক্যাশ কোয়ান্টাইজ করে আরও বাঁচানো যায়: mlx-lm-এর সার্ভার --kv-bits 4 নেয় (mlx-lm)। চ্যাটের জন্য কয়েক হাজার টোকেনের কনটেক্সটই যথেষ্ট; এজেন্ট, লম্বা ডকুমেন্ট বা কোডের জন্য কয়েক গিগাবাইট হিসাবে রাখুন।
4Mac-এ কত বড় মডেল ধরে
Mac-এর মেমরি CPU আর GPU ভাগ করে ব্যবহার করে, আর macOS ডিফল্টভাবে GPU-কে এর একটি অংশই ব্যবহার করতে দেয়। আমাদের Compare পাতা প্রায় 75% ধরে; mlx-lm-এর README দেখায় macOS 15 বা নতুনে sudo sysctl iogpu.wired_limit_mb=N দিয়ে কীভাবে সীমা বাড়ানো যায় (mlx-lm), তবে macOS আর আপনার অন্য অ্যাপেরও জায়গা লাগে।
| Mac মেমরি | GPU-র জন্য (প্রায় 75%) | 4-bit-এ সবচেয়ে বড় মডেল | 8-bit-এ সবচেয়ে বড় |
|---|---|---|---|
| 8 GB | 6 GB | প্রায় 10B | প্রায় 5B |
| 16 GB | 12 GB | প্রায় 21B | প্রায় 11B |
| 24 GB | 18 GB | প্রায় 32B | প্রায় 16B |
| 32 GB | 24 GB | প্রায় 42B | প্রায় 22B |
| 36 GB | 27 GB | প্রায় 48B | প্রায় 25B |
| 48 GB | 36 GB | প্রায় 64B | প্রায় 33B |
| 64 GB | 48 GB | প্রায় 85B | প্রায় 45B |
| 96 GB | 72 GB | প্রায় 128B | প্রায় 67B |
| 128 GB | 96 GB | প্রায় 170B | প্রায় 90B |
| 256 GB | 192 GB | প্রায় 341B | প্রায় 180B |
| 512 GB | 384 GB | প্রায় 682B | প্রায় 361B |
কী ধরবে তা ঠিক করে মেমরি; কত দ্রুত লিখবে তা ঠিক করে মেমরি ব্যান্ডউইথ। দ্বিতীয় অংশটি ব্যাখ্যা করা আছে লোকাল LLM-এর জন্য সেরা Mac-এ, আর প্রতিটি Mac, র্যাঙ্কিংসহ দুটোকে একসঙ্গে দেখায়।
5RAM, VRAM আর ইউনিফায়েড মেমরি
গ্রাফিক্স কার্ডযুক্ত PC-তে মডেল পুরো গতিতে চলে কেবল যদি তা কার্ডের নিজস্ব মেমরি, অর্থাৎ VRAM-এ ধরে: RTX 5090-এ 32 GB (NVIDIA)। যে লেয়ারগুলো ধরে না সেগুলো PC-র সিস্টেম RAM থেকে চলতে পারে, কিন্তু সেই মেমরি পড়তে অনেক ধীর, তাই মডেল অনেকটা ধীর হয়ে যায়।
Mac-এ আলাদা VRAM নেই: GPU পড়ে CPU-র মতো একই ইউনিফায়েড মেমরি, এই কারণেই 64 GB বা 128 GB-এর Mac এমন মডেল ধরতে পারে যা কোনো একক কনজিউমার গ্রাফিক্স কার্ড পারে না। কিছু PC এখন একইভাবে কাজ করে, যেমন NVIDIA-র DGX Spark আর AMD-র Ryzen AI Max মেশিন, যেখানে CPU ও GPU 128 GB ভাগ করে: দেখুন M5 Max vs DGX Spark আর M5 Max vs RTX 5090।
6মিক্সচার-অফ-এক্সপার্টস মডেল
মিক্সচার-অফ-এক্সপার্টস মডেল তার সব প্যারামিটার মেমরিতে রাখে, কিন্তু প্রতিটি টোকেনের জন্য তার অল্প কয়েকটিই ব্যবহার করে। মেমরি চলে মোট সংখ্যা অনুযায়ী; গতি চলে সক্রিয় অংশ অনুযায়ী। gpt-oss-20b-এ 21 বিলিয়ন প্যারামিটার, যার 3.6 বিলিয়ন সক্রিয় (OpenAI): এর মেমরি লাগে 21B মডেলের মতো, আর লেখে প্রায় 4B মডেলের গতিতে।
তাই মিক্সচার-অফ-এক্সপার্টস মডেল Mac-এর জন্য বেশ মানানসই, কারণ গ্রাফিক্স কার্ডের তুলনায় Mac-এ ব্যান্ডউইথের চেয়ে মেমরি বেশি। Compare প্রতিটি জনপ্রিয় মডেলের দুটো সংখ্যাই দেখায়।
7প্রশ্নোত্তর
- 70B মডেল চালাতে কত RAM লাগে?
- 4-bit-এ ওয়েটের জন্য প্রায় 39 GB, সঙ্গে কনটেক্সট: বাস্তবে 64 GB বা তার বেশি মেমরির Mac, বা কয়েকটি গ্রাফিক্স কার্ড। 8-bit-এ প্রায় 74 GB লাগে, তাই 128 GB।
- LLM চালাতে কি 16 GB RAM যথেষ্ট?
- হ্যাঁ, 4-bit-এ প্রায় 14B প্যারামিটার পর্যন্ত মডেলের জন্য: 16 GB-এর Mac ডিফল্টভাবে GPU-কে প্রায় 12 GB দেয়। 8B মডেল কনটেক্সটের জায়গা রেখেই স্বচ্ছন্দে চলে। দেখুন 16 GB Mac-এর জন্য সেরা LLM।
- 8B মডেলের কত VRAM লাগে?
- 4-bit-এ প্রায় 4.5 GB, 8-bit-এ 8.5 GB আর 16-bit-এ 16 GB, সঙ্গে Qwen3 8B-এর ক্ষেত্রে 8,000 টোকেনের কনটেক্সটের জন্য প্রায় 1.2 GB।
- কনটেক্সটের দৈর্ঘ্য কি মেমরি নেয়?
- হ্যাঁ। কথোপকথনের প্রতিটি টোকেনের সঙ্গে KV cache বাড়ে। Qwen3 8B-এ 16-bit-এ তা প্রতি টোকেনে প্রায় 147 KB: 32,000 টোকেনে প্রায় 4.8 GB।
- RAM-এর চেয়ে বড় মডেল কি চালানো যায়?
- কাজে লাগার মতো করে নয়। ওয়েট না ধরলে সিস্টেম swap করে বা ধীর মেমরি থেকে পড়ে, আর আউটপুট প্রায় থেমে যায়। কম প্রিসিশন, ছোট মডেল বা মিক্সচার-অফ-এক্সপার্টস মডেল নিন, অথবা কয়েকটি মেশিনে ভাগ করে দিন: দেখুন Mac AI ক্লাস্টার।