مختصر یہ کہ
- ویٹس: پیرامیٹرز × bits فی ویٹ ÷ 8۔ MLX کے 4-bit فارمیٹ میں یہ فی ارب پیرامیٹرز تقریباً 0.56 GB بنتا ہے؛ 8-bit پر تقریباً 1.06 GB، 16-bit پر 2 GB۔
- یوں کانٹیکسٹ سے پہلے، 8B ماڈل کو 4-bit پر تقریباً 4.5 GB، 32B ماڈل کو تقریباً 18 GB اور 70B ماڈل کو تقریباً 39 GB چاہیے۔
- کانٹیکسٹ (KV cache) اس کے اوپر آتا ہے اور ہر ٹوکن کے ساتھ بڑھتا ہے: Qwen3 8B کے لیے 32,000 ٹوکن کا کانٹیکسٹ تقریباً 4.8 GB لیتا ہے، جو اس کے 4-bit ویٹس سے زیادہ ہے۔
- Mac پر GPU ڈیفالٹ طور پر یونیفائیڈ میموری کا تقریباً 75% استعمال کر سکتا ہے، اس لیے 16 GB والے Mac میں ماڈل کے لیے تقریباً 12 GB ہوتے ہیں۔ PC پر پوری رفتار کے لیے ماڈل کو گرافکس کارڈ کی اپنی VRAM میں سمانا ہوتا ہے۔
1اصول: پیرامیٹرز × bits
ماڈل زیادہ تر اپنے ویٹس پر مشتمل ہوتا ہے: ہر پیرامیٹر کا ایک نمبر۔ 16 bits میں محفوظ ہو تو ہر ایک 2 بائٹس لیتا ہے، یعنی ماڈل کو فی ارب پیرامیٹرز 2 GB چاہیے۔ کوانٹائزیشن ہر ویٹ کو کم bits میں محفوظ کرتی ہے، جس سے ماڈل تقریباً اسی تناسب سے چھوٹا ہو جاتا ہے؛ 4 bits پر زیادہ تر ماڈلز اپنے اصل معیار کے قریب رہتے ہیں۔
کوانٹائزڈ فارمیٹس ویٹس دوبارہ بنانے کے لیے تھوڑا اضافی ڈیٹا بھی رکھتے ہیں۔ Apple کا MLX ڈیفالٹ طور پر 64 ویٹس کے ہر گروپ کے لیے ایک اسکیل اور ایک بائس، ماڈل کی اپنی 16-bit قسم میں رکھتا ہے (MLX)، جو فی ویٹ آدھا bit بڑھاتا ہے۔ اس سے یہ سائز بنتے ہیں:
| پریسیژن | bits فی ویٹ | GB فی ارب پیرامیٹرز |
|---|---|---|
| 16-bit (اصل) | 16 | 2.0 |
| 8-bit | 8.5 | تقریباً 1.06 |
| 6-bit | 6.5 | تقریباً 0.81 |
| 4-bit | 4.5 | تقریباً 0.56 |
| 3-bit | 3.5 | تقریباً 0.44 |
| 2-bit | 2.5 | تقریباً 0.31 |
4 bits سے نیچے معیار تیزی سے گرتا ہے۔ اچھا ڈیفالٹ وہ سب سے اونچی پریسیژن ہے جو کچھ جگہ چھوڑ کر سما جائے۔
2عام ماڈل سائزز کے لیے میموری
| ماڈل سائز | 16-bit | 8-bit | 4-bit | 3-bit |
|---|---|---|---|---|
| 1B | 2 GB | 1.1 GB | 0.6 GB | 0.4 GB |
| 3B | 6 GB | 3.2 GB | 1.7 GB | 1.3 GB |
| 8B | 16 GB | 8.5 GB | 4.5 GB | 3.5 GB |
| 14B | 28 GB | 14.9 GB | 7.9 GB | 6.1 GB |
| 32B | 64 GB | 34 GB | 18 GB | 14 GB |
| 70B | 140 GB | 74.4 GB | 39.4 GB | 30.6 GB |
| 120B | 240 GB | 127.5 GB | 67.5 GB | 52.5 GB |
| 235B | 470 GB | 249.7 GB | 132.2 GB | 102.8 GB |
| 405B | 810 GB | 430.3 GB | 227.8 GB | 177.2 GB |
| 671B | 1,342 GB | 712.9 GB | 377.4 GB | 293.6 GB |
کچھ ماڈلز اپنی ہی کم پریسیژن میں آتے ہیں۔ OpenAI کے gpt-oss-120b میں 117 ارب پیرامیٹرز ہیں اور یہ اپنے mixture-of-experts ویٹس 4-bit فارمیٹ MXFP4 میں رکھتا ہے، اس لیے ایک 80 GB GPU پر سما جاتا ہے (OpenAI)۔ کسی خاص ماڈل کے لیے اس کا صفحہ کھولیں: ہر اوپن ماڈل اور اس کے لیے درکار Mac، مثلاً gpt-oss-120b یا Llama 3.3 70B۔
3کانٹیکسٹ بھی میموری لیتا ہے
ماڈل جب پڑھتا اور لکھتا ہے تو ہر لیئر میں گفتگو کے ہر ٹوکن کے لیے ایک key اور ایک value رکھتا ہے: یہی KV cache ہے۔ اس کا سائز ہے 2 × لیئرز × KV heads × head کا سائز × فی ویلیو بائٹس × ٹوکنز۔
مثال کے طور پر Qwen3 8B میں 36 لیئرز، 8 KV heads اور 128 کا head سائز ہے، 16-bit میں محفوظ (config)۔ یہ فی ٹوکن 147,456 بائٹس بنتے ہیں:
| کانٹیکسٹ | Qwen3 8B کا KV cache (16-bit) |
|---|---|
| 8,192 ٹوکنز | تقریباً 1.2 GB |
| 32,768 ٹوکنز | تقریباً 4.8 GB |
| 40,960 ٹوکنز (اس کا پورا کانٹیکسٹ) | تقریباً 6.0 GB |
اس جیسے grouped-query attention والے ماڈلز attention heads سے کم KV heads رکھتے ہیں (32 کے مقابلے میں 8)، جو کیش کو پہلے ہی چار گنا کم کر دیتا ہے۔ کیش کو کوانٹائز کر کے مزید بچت ہو سکتی ہے: mlx-lm کا سرور --kv-bits 4 لیتا ہے (mlx-lm)۔ چیٹ کے لیے چند ہزار ٹوکن کا کانٹیکسٹ کافی ہے؛ ایجنٹس، لمبی دستاویزات یا کوڈ کے لیے کئی گیگا بائٹس رکھیں۔
4Mac پر کتنا بڑا ماڈل سماتا ہے
Mac کی میموری CPU اور GPU میں مشترک ہے، اور macOS ڈیفالٹ طور پر GPU کو اس کا صرف ایک حصہ استعمال کرنے دیتا ہے۔ ہمارا Compare صفحہ تقریباً 75% گنتا ہے؛ mlx-lm کا README بتاتا ہے کہ macOS 15 یا نئے پر sudo sysctl iogpu.wired_limit_mb=N سے یہ حد کیسے بڑھائیں (mlx-lm)، لیکن macOS اور آپ کی دوسری ایپس کو بھی جگہ چاہیے۔
| Mac کی میموری | GPU کے لیے (تقریباً 75%) | 4-bit پر سب سے بڑا ماڈل | 8-bit پر سب سے بڑا |
|---|---|---|---|
| 8 GB | 6 GB | تقریباً 10B | تقریباً 5B |
| 16 GB | 12 GB | تقریباً 21B | تقریباً 11B |
| 24 GB | 18 GB | تقریباً 32B | تقریباً 16B |
| 32 GB | 24 GB | تقریباً 42B | تقریباً 22B |
| 36 GB | 27 GB | تقریباً 48B | تقریباً 25B |
| 48 GB | 36 GB | تقریباً 64B | تقریباً 33B |
| 64 GB | 48 GB | تقریباً 85B | تقریباً 45B |
| 96 GB | 72 GB | تقریباً 128B | تقریباً 67B |
| 128 GB | 96 GB | تقریباً 170B | تقریباً 90B |
| 256 GB | 192 GB | تقریباً 341B | تقریباً 180B |
| 512 GB | 384 GB | تقریباً 682B | تقریباً 361B |
میموری طے کرتی ہے کہ کیا سماتا ہے؛ میموری بینڈوڈتھ طے کرتی ہے کہ کتنی تیزی سے لکھتا ہے۔ لوکل LLMs کے لیے بہترین Mac دوسرا حصہ سمجھاتا ہے، اور ہر Mac کی رینکنگ دونوں کو ایک ساتھ دکھاتی ہے۔
5RAM، VRAM اور یونیفائیڈ میموری
گرافکس کارڈ والے PC پر ماڈل پوری رفتار سے تب ہی چلتا ہے جب وہ کارڈ کی اپنی میموری، یعنی VRAM میں سما جائے: RTX 5090 پر 32 GB (NVIDIA)۔ جو لیئرز نہ سمائیں وہ PC کی سسٹم RAM سے چل سکتی ہیں، لیکن وہ میموری پڑھنے میں کہیں سست ہے، اس لیے ماڈل بہت سست ہو جاتا ہے۔
Mac میں الگ VRAM نہیں ہوتی: GPU وہی یونیفائیڈ میموری پڑھتا ہے جو CPU، اسی لیے 64 GB یا 128 GB والا Mac ایسے ماڈلز رکھ سکتا ہے جو کوئی ایک کنزیومر گرافکس کارڈ نہیں رکھ سکتا۔ اب کچھ PC بھی اسی طرح کام کرتے ہیں، جیسے NVIDIA کا DGX Spark اور AMD کی Ryzen AI Max مشینیں، جن میں CPU اور GPU کے درمیان 128 GB مشترک ہے: M5 Max بمقابلہ DGX Spark اور M5 Max بمقابلہ RTX 5090 دیکھیں۔
6Mixture-of-experts ماڈلز
Mixture-of-experts ماڈل اپنے تمام پیرامیٹرز میموری میں رکھتا ہے لیکن ہر ٹوکن کے لیے ان میں سے چند ہی استعمال کرتا ہے۔ میموری کل تعداد کے مطابق چلتی ہے؛ رفتار فعال حصے کے مطابق۔ gpt-oss-20b میں 21 ارب پیرامیٹرز ہیں جن میں 3.6 ارب فعال ہیں (OpenAI): اسے 21B ماڈل جتنی میموری چاہیے اور یہ تقریباً 4B ماڈل جتنی تیزی سے لکھتا ہے۔
اس لیے mixture-of-experts ماڈلز Mac کے لیے موزوں ہیں، جن کے پاس گرافکس کارڈز کے مقابلے میں بینڈوڈتھ سے زیادہ میموری ہوتی ہے۔ Compare ہر مقبول ماڈل کے دونوں نمبر دکھاتا ہے۔
7سوالات
- 70B ماڈل چلانے کے لیے کتنی RAM چاہیے؟
- 4-bit پر ویٹس کے لیے تقریباً 39 GB، اور کانٹیکسٹ الگ سے: عملاً 64 GB یا اس سے زیادہ والا Mac، یا کئی گرافکس کارڈز۔ 8-bit پر اسے تقریباً 74 GB چاہیے، یعنی 128 GB۔
- کیا LLM چلانے کے لیے 16 GB RAM کافی ہے؟
- ہاں، 4-bit پر تقریباً 14B پیرامیٹرز تک کے ماڈلز کے لیے: 16 GB والا Mac ڈیفالٹ طور پر GPU کو تقریباً 12 GB دیتا ہے۔ 8B ماڈلز کانٹیکسٹ کی جگہ کے ساتھ آرام سے چلتے ہیں۔ 16 GB Mac کے لیے بہترین LLMs دیکھیں۔
- 8B ماڈل کو کتنی VRAM چاہیے؟
- 4-bit پر تقریباً 4.5 GB، 8-bit پر 8.5 GB اور 16-bit پر 16 GB، اور Qwen3 8B کی صورت میں 8,000 ٹوکن کے کانٹیکسٹ کے لیے تقریباً 1.2 GB مزید۔
- کیا کانٹیکسٹ کی لمبائی میموری لیتی ہے؟
- ہاں۔ KV cache گفتگو کے ہر ٹوکن کے ساتھ بڑھتا ہے۔ Qwen3 8B کے لیے 16-bit پر یہ فی ٹوکن تقریباً 147 KB ہے: 32,000 ٹوکنز پر تقریباً 4.8 GB۔
- کیا میں اپنی RAM سے بڑا ماڈل چلا سکتا ہوں؟
- کام کے لائق نہیں۔ اگر ویٹس نہ سمائیں تو سسٹم swap کرتا ہے یا سست میموری سے پڑھتا ہے، اور آؤٹ پٹ رینگنے لگتا ہے۔ کم پریسیژن، چھوٹا ماڈل یا mixture-of-experts ماڈل استعمال کریں، یا اسے کئی مشینوں پر پھیلائیں: Mac AI کلسٹرز دیکھیں۔