ہر پریسیژن پر میموری
| ورژن | ویٹس | کانٹیکسٹ کے ساتھ | سب سے چھوٹا Mac |
|---|---|---|---|
| 8-bit | 31.9 GB | 34.5 GB | 48 GB |
| 6-bit | 24.4 GB | 26.4 GB | 36 GB |
| 4-bit | 16.9 GB | 18.4 GB | 32 GB |
| 3-bit کم معیار | 13.1 GB | 14.6 GB | 24 GB |
| 2-bit کم معیار | 9.4 GB | 10.9 GB | 16 GB |
ہر Apple چپ پر
ہر چپ کا سب سے کم میموری سائز جو Granite 4.2 30B چلاتا ہے، اس میں سمانے والا بہترین ورژن، اور لکھنے کی متوقع رفتار۔
| چپ | درکار | ورژن | ٹوکن/سیکنڈ |
|---|---|---|---|
| M6 | 32 GB | 4-bit سست | 5–8 |
| M5 Ultra | 96 GB | 8-bit اچھا چلتا ہے | 17–30 |
| M5 Max | 36 GB | 4-bit اچھا چلتا ہے | 12–22 |
| M5 Pro | 48 GB | 8-bit سست | 4–8 |
| M5 | 32 GB | 4-bit سست | 4–7 |
| M4 Max | 36 GB | 4-bit اچھا چلتا ہے | 11–19 |
| M4 Pro | 48 GB | 8-bit سست | 4–7 |
| M4 | 32 GB | 4-bit سست | 3–6 |
| M3 Ultra | 96 GB | 8-bit اچھا چلتا ہے | 12–21 |
| M3 Max | 36 GB | 6-bit سست | 6–10 |
| M3 Pro | 36 GB | 6-bit سست | 3–5 |
| M3 | 16 GB | 2-bit سست | 5–9 |
| M2 Ultra | 64 GB | 8-bit اچھا چلتا ہے | 11–20 |
| M2 Max | 32 GB | 4-bit اچھا چلتا ہے | 11–19 |
| M2 Pro | 32 GB | 4-bit سست | 5–9 |
| M2 | 16 GB | 2-bit سست | 5–9 |
| M1 Ultra | 64 GB | 8-bit اچھا چلتا ہے | 11–20 |
| M1 Max | 32 GB | 4-bit اچھا چلتا ہے | 11–19 |
| M1 Pro | 32 GB | 4-bit سست | 5–9 |
| M1 | 16 GB | 2-bit سست | 3–6 |
اسے کیسے چلائیں
- آسان طریقہ: MLX Harness ڈاؤن لوڈ کریں، مفت اور اوپن سورس۔ Granite 4.2 30B تلاش کریں، وہ ورژن ڈاؤن لوڈ کریں جو آپ کے Mac میں سماتا ہو، اور چیٹ کریں۔ یہ OpenAI سے مطابقت رکھنے والی API کے ذریعے ماڈل کو آپ کی دوسری ایپس کو بھی فراہم کرتا ہے۔MLX Harness ڈاؤن لوڈ کریںمفت · Apple Silicon · macOS 14.5 یا نیا
- Terminal میں Apple کے MLX کے ساتھ: ابھی تک کمیونٹی کا کوئی MLX بلڈ نہیں ہے، اس لیے آفیشل ویٹس سے خود بنائیں:
pip install mlx-lmmlx_lm.convert --hf-path ibm-granite/granite-4.2-30b -q
مرحلہ وار: Mac پر LLMs ڈاؤن لوڈ کریں اور چلائیں · MLX Harness کیسے استعمال کریں · MLX بمقابلہ Ollama بمقابلہ llama.cpp
Granite 4.2 30B کے بارے میں
| بنانے والا | IBM |
|---|---|
| پیرامیٹرز | 30B (ڈینس) |
| کانٹیکسٹ | 128K ٹوکن |
| لائسنس | Apache-2.0 |
| ریلیز | 2026-08 |
| ان پٹ | ٹیکسٹ |
| ذہانت | Artificial Analysis Intelligence Index پر 12.7 |
| ویٹس | ibm-granite/granite-4.2-30b |
سوالات
- Granite 4.2 30B کو کتنی میموری چاہیے؟
- 4-bit پر ویٹس کے لیے تقریباً 16.9 GB، اور کانٹیکسٹ کی گنجائش: کل 18.4 GB۔ Mac پر اس کا مطلب ہے 32 GB یا زیادہ یونیفائیڈ میموری، کیونکہ macOS ڈیفالٹ طور پر GPU کو اس کا تقریباً 75% استعمال کرنے دیتا ہے۔
- Mac پر Granite 4.2 30B کتنا تیز ہے؟
- لکھنے کی رفتار میموری بینڈوڈتھ پر منحصر ہے۔ یہاں اس کے لیے سب سے تیز Mac، 96 GB والا M5 Ultra ہے، فی سیکنڈ تقریباً 17–30 ٹوکن (8-bit)۔ اسے چلانے والا سب سے چھوٹا Mac، 32 GB کے ساتھ، M2 Max پر تقریباً 11–19 تک پہنچتا ہے۔
- کیا کوانٹائزیشن سے Granite 4.2 30B کو نقصان ہوتا ہے؟
- 4 bits پر زیادہ تر ماڈل اصل معیار کے قریب رہتے ہیں؛ 4 bits سے نیچے معیار تیزی سے گرتا ہے۔ وہ سب سے اونچی پریسیژن چنیں جو آپ کے Mac میں گنجائش کے ساتھ سما جائے۔
ملتے جلتے ماڈلز
آپ کے ماڈل کارڈ یا README کے لیے
وہ سب سے چھوٹا Mac دکھاتا ہے جو Granite 4.2 30B کو اچھا چلاتا ہے، اور یہاں لنک کرتا ہے۔
[](https://mlx.app/run/granite-4.2-30b)یہ کیسے نکالا گیا
میموری: ماڈل کے پیرامیٹرز فی ویٹ 8، 6، 4، 3 یا 2 bits پر، ساتھ MLX کے گروپ اسکیلز (فی ویٹ آدھا bit)، یا اس کا اصل فارمیٹ، اور اوپر سے کانٹیکسٹ کی گنجائش۔ macOS ڈیفالٹ طور پر GPU کو یونیفائیڈ میموری کا تقریباً 75% استعمال کرنے دیتا ہے۔ رفتار: میموری بینڈوڈتھ کو فی ٹوکن پڑھے جانے والے بائٹس سے تقسیم کریں تو ایک گفتگو کی حد ملتی ہے؛ llama.cpp کے Apple Silicon پر پبلک بینچ مارکس میں اصل رنز اس کے تقریباً 45% سے 80% تک پہنچتے ہیں، اور یہی رینج دکھائی گئی ہے۔ یہ اندازے ہیں، پیمائشیں نہیں: اپنا Mac MLX Bench پر ناپیں۔ ماڈل کے اعداد ہر ماڈل کے آفیشل ماڈل کارڈ سے، چپ کے اعداد Apple کی Tech Specs سے۔ 2026-10-19 کو چیک کیا گیا۔ وہی ڈیٹا جو mlx.app/compare پر ہے۔