ہر پریسیژن پر میموری
| ورژن | ویٹس | کانٹیکسٹ کے ساتھ | سب سے چھوٹا Mac |
|---|---|---|---|
| 8-bit | 293 GB | 317 GB | 512 GB |
| 6-bit | 224 GB | 242 GB | 512 GB |
| 4-bit | 155 GB | 168 GB | 256 GB |
| 3-bit کم معیار | 121 GB | 131 GB | 192 GB |
| 2-bit کم معیار | 86.3 GB | 93.2 GB | 128 GB |
ہر Apple چپ پر
ہر چپ کا سب سے کم میموری سائز جو Inkling Small چلاتا ہے، اس میں سمانے والا بہترین ورژن، اور لکھنے کی متوقع رفتار۔
| چپ | درکار | ورژن | ٹوکن/سیکنڈ |
|---|---|---|---|
| M6 | کوئی سائز کافی نہیں | بہت بڑا | – |
| M5 Ultra | 256 GB | 4-bit اچھا چلتا ہے | 79–141 |
| M5 Max | 128 GB | 2-bit اچھا چلتا ہے | 73–129 |
| M5 Pro | کوئی سائز کافی نہیں | بہت بڑا | – |
| M5 | کوئی سائز کافی نہیں | بہت بڑا | – |
| M4 Max | 128 GB | 2-bit اچھا چلتا ہے | 65–115 |
| M4 Pro | کوئی سائز کافی نہیں | بہت بڑا | – |
| M4 | کوئی سائز کافی نہیں | بہت بڑا | – |
| M3 Ultra | 256 GB | 4-bit اچھا چلتا ہے | 54–96 |
| M3 Max | 128 GB | 2-bit اچھا چلتا ہے | 47–84 |
| M3 Pro | کوئی سائز کافی نہیں | بہت بڑا | – |
| M3 | کوئی سائز کافی نہیں | بہت بڑا | – |
| M2 Ultra | 128 GB | 2-bit اچھا چلتا ہے | 95–168 |
| M2 Max | کوئی سائز کافی نہیں | بہت بڑا | – |
| M2 Pro | کوئی سائز کافی نہیں | بہت بڑا | – |
| M2 | کوئی سائز کافی نہیں | بہت بڑا | – |
| M1 Ultra | 128 GB | 2-bit اچھا چلتا ہے | 95–168 |
| M1 Max | کوئی سائز کافی نہیں | بہت بڑا | – |
| M1 Pro | کوئی سائز کافی نہیں | بہت بڑا | – |
| M1 | کوئی سائز کافی نہیں | بہت بڑا | – |
اسے کیسے چلائیں
- آسان طریقہ: MLX Harness ڈاؤن لوڈ کریں، مفت اور اوپن سورس۔ Inkling Small تلاش کریں، وہ ورژن ڈاؤن لوڈ کریں جو آپ کے Mac میں سماتا ہو، اور چیٹ کریں۔ یہ OpenAI سے مطابقت رکھنے والی API کے ذریعے ماڈل کو آپ کی دوسری ایپس کو بھی فراہم کرتا ہے۔MLX Harness ڈاؤن لوڈ کریںمفت · Apple Silicon · macOS 14.5 یا نیا
- Terminal میں Apple کے MLX کے ساتھ:
pip install mlx-lmmlx_lm.chat --model mlx-community/Inkling-Small-mlx-4bitبلڈ: Hugging Face پر mlx-community/Inkling-Small-mlx-4bit۔ دوسری پریسیژنز اسی کے ساتھ موجود ہیں۔
مرحلہ وار: Mac پر LLMs ڈاؤن لوڈ کریں اور چلائیں · MLX Harness کیسے استعمال کریں · MLX بمقابلہ Ollama بمقابلہ llama.cpp
Inkling Small کے بارے میں
| بنانے والا | Thinking Machines Lab |
|---|---|
| پیرامیٹرز | کل 276B · فعال 12B (mixture-of-experts) |
| لائسنس | Apache-2.0 |
| ریلیز | 2026-07 |
| ان پٹ | ٹیکسٹ اور تصاویر |
| ذہانت | Artificial Analysis Intelligence Index پر 25.7 |
| ویٹس | thinkingmachines/Inkling-Small |
سوالات
- Inkling Small کو کتنی میموری چاہیے؟
- 4-bit پر ویٹس کے لیے تقریباً 155 GB، اور کانٹیکسٹ کی گنجائش: کل 168 GB۔ Mac پر اس کا مطلب ہے 256 GB یا زیادہ یونیفائیڈ میموری، کیونکہ macOS ڈیفالٹ طور پر GPU کو اس کا تقریباً 75% استعمال کرنے دیتا ہے۔
- Mac پر Inkling Small کتنا تیز ہے؟
- لکھنے کی رفتار میموری بینڈوڈتھ پر منحصر ہے۔ یہاں اس کے لیے سب سے تیز Mac، 256 GB والا M5 Ultra ہے، فی سیکنڈ تقریباً 79–141 ٹوکن (4-bit)۔ اسے چلانے والا سب سے چھوٹا Mac، 256 GB کے ساتھ، M5 Ultra پر تقریباً 79–141 تک پہنچتا ہے۔
- Inkling Small اپنے سائز کی توقع سے زیادہ تیز کیوں چلتا ہے؟
- یہ mixture-of-experts ماڈل ہے: یہ میموری میں 276B پیرامیٹرز رکھتا ہے لیکن ہر ٹوکن کے لیے صرف 12B پڑھتا ہے، اس لیے یہ کہیں چھوٹے ماڈل کی رفتار سے لکھتا ہے۔
ملتے جلتے ماڈلز
آپ کے ماڈل کارڈ یا README کے لیے
وہ سب سے چھوٹا Mac دکھاتا ہے جو Inkling Small کو اچھا چلاتا ہے، اور یہاں لنک کرتا ہے۔
[](https://mlx.app/run/inkling-small)یہ کیسے نکالا گیا
میموری: ماڈل کے پیرامیٹرز فی ویٹ 8، 6، 4، 3 یا 2 bits پر، ساتھ MLX کے گروپ اسکیلز (فی ویٹ آدھا bit)، یا اس کا اصل فارمیٹ، اور اوپر سے کانٹیکسٹ کی گنجائش۔ macOS ڈیفالٹ طور پر GPU کو یونیفائیڈ میموری کا تقریباً 75% استعمال کرنے دیتا ہے۔ رفتار: میموری بینڈوڈتھ کو فی ٹوکن پڑھے جانے والے بائٹس سے تقسیم کریں تو ایک گفتگو کی حد ملتی ہے؛ llama.cpp کے Apple Silicon پر پبلک بینچ مارکس میں اصل رنز اس کے تقریباً 45% سے 80% تک پہنچتے ہیں، اور یہی رینج دکھائی گئی ہے۔ یہ اندازے ہیں، پیمائشیں نہیں: اپنا Mac MLX Bench پر ناپیں۔ ماڈل کے اعداد ہر ماڈل کے آفیشل ماڈل کارڈ سے، چپ کے اعداد Apple کی Tech Specs سے۔ 2026-10-19 کو چیک کیا گیا۔ وہی ڈیٹا جو mlx.app/compare پر ہے۔