حافظه در هر دقت
| نسخه | وزنها | با کانتکست | کوچکترین Mac |
|---|---|---|---|
| 8 بیت | 1 TB | 1.1 TB | بیش از هر Mac |
| 6 بیت | 792 GB | 856 GB | بیش از هر Mac |
| 4 بیت | 548 GB | 592 GB | بیش از هر Mac |
| 3 بیت کیفیت پایین‌تر | 427 GB | 461 GB | بیش از هر Mac |
| 2 بیت کیفیت پایین‌تر | 305 GB | 329 GB | 512 GB |
روی هر تراشهٔ Apple
کوچکترین حافظهٔ هر تراشه که Inkling را اجرا میکند، بهترین نسخه‌ای که در آن جا میشود و سرعت نوشتنی که می‌توانید انتظار داشته باشید.
| تراشه | نیاز | نسخه | توکن/ثانیه |
|---|---|---|---|
| M6 | هیچ اندازه‌ای کافی نیست | خیلی بزرگ | – |
| M5 Ultra | 512 GB | 2 بیت خوب اجرا میشود | 42–75 |
| M5 Max | هیچ اندازه‌ای کافی نیست | خیلی بزرگ | – |
| M5 Pro | هیچ اندازه‌ای کافی نیست | خیلی بزرگ | – |
| M5 | هیچ اندازه‌ای کافی نیست | خیلی بزرگ | – |
| M4 Max | هیچ اندازه‌ای کافی نیست | خیلی بزرگ | – |
| M4 Pro | هیچ اندازه‌ای کافی نیست | خیلی بزرگ | – |
| M4 | هیچ اندازه‌ای کافی نیست | خیلی بزرگ | – |
| M3 Ultra | 512 GB | 2 بیت خوب اجرا میشود | 29–51 |
| M3 Max | هیچ اندازه‌ای کافی نیست | خیلی بزرگ | – |
| M3 Pro | هیچ اندازه‌ای کافی نیست | خیلی بزرگ | – |
| M3 | هیچ اندازه‌ای کافی نیست | خیلی بزرگ | – |
| M2 Ultra | هیچ اندازه‌ای کافی نیست | خیلی بزرگ | – |
| M2 Max | هیچ اندازه‌ای کافی نیست | خیلی بزرگ | – |
| M2 Pro | هیچ اندازه‌ای کافی نیست | خیلی بزرگ | – |
| M2 | هیچ اندازه‌ای کافی نیست | خیلی بزرگ | – |
| M1 Ultra | هیچ اندازه‌ای کافی نیست | خیلی بزرگ | – |
| M1 Max | هیچ اندازه‌ای کافی نیست | خیلی بزرگ | – |
| M1 Pro | هیچ اندازه‌ای کافی نیست | خیلی بزرگ | – |
| M1 | هیچ اندازه‌ای کافی نیست | خیلی بزرگ | – |
چطور اجرایش کنید
- راه آسان: MLX Harness را دانلود کنید، رایگان و متن‌باز. Inkling را جست‌وجو کنید، نسخه‌ای را که در Mac شما جا میشود دانلود کنید و گفت‌وگو را شروع کنید. همچنین مدل را از طریق یک API سازگار با OpenAI در اختیار اپ‌های دیگرتان می‌گذارد.دانلود MLX Harnessرایگان · Apple Silicon · macOS 14.5 یا جدیدتر
- در Terminal با MLX از Apple:
pip install mlx-lmmlx_lm.chat --model mlx-community/Inkling-mlx-4bitنسخه: mlx-community/Inkling-mlx-4bit در Hugging Face. دقت‌های دیگر کنار آن هستند.
گام به گام: دانلود و اجرای LLM روی Mac · نحوهٔ استفاده از MLX Harness · MLX در برابر Ollama و llama.cpp
دربارهٔ Inkling
| سازنده | Thinking Machines Lab |
|---|---|
| پارامترها | 975B در کل · 41B فعال (mixture-of-experts) |
| مجوز | Apache-2.0 |
| انتشار | 2026-07 |
| ورودی | متن و تصویر |
| هوش | 25 در Artificial Analysis Intelligence Index |
| وزنها | thinkingmachines/Inkling |
پرسش‌ها
- Inkling چقدر حافظه لازم دارد؟
- حدود 548 GB برای وزنها در 4 بیت، بهعلاوهٔ جا برای کانتکست: در کل 592 GB. این بیش از حافظهٔ هر Mac امروزی است.
- Inkling روی Mac چقدر سریع است؟
- سرعت نوشتن به پهنای باند حافظه بستگی دارد. سریعترین Mac برای آن در اینجا یک M5 Ultra با 512 GB است، با حدود 42–75 توکن در ثانیه (2 بیت). کوچکترین Mac که آن را اجرا میکند، با 512 GB، روی یک M5 Ultra به حدود 42–75 میرسد.
- چرا Inkling سریعتر از آنچه اندازهاش نشان میدهد اجرا میشود؟
- این یک مدل mixture-of-experts است: 975B پارامتر را در حافظه نگه میدارد اما برای هر توکن فقط 41B را میخواند، پس با سرعت مدلی بسیار کوچکتر مینویسد.
مدل‌های مشابه
برای کارت مدل یا README شما
کوچکترین Mac را که Inkling را خوب اجرا میکند نشان میدهد و به اینجا لینک میدهد.
[](https://mlx.app/run/inkling)چطور محاسبه شده
حافظه: پارامترهای مدل در 8، 6، 4، 3 یا 2 بیت برای هر وزن بهعلاوهٔ مقیاس‌های گروهی MLX (نیم بیت برای هر وزن)، یا قالب اصلی آن، به‌اضافهٔ جا برای کانتکست. macOS به‌طور پیش‌فرض اجازه میدهد GPU حدود 75% حافظهٔ یکپارچه را استفاده کند. سرعت: پهنای باند حافظه تقسیم بر بایت‌هایی که برای هر توکن خوانده میشود، سقف سرعت یک گفت‌وگوست؛ در بنچمارک‌های عمومی llama.cpp روی Apple Silicon اجراهای واقعی به حدود 45% تا 80% آن می‌رسند و همین بازه نمایش داده میشود. این‌ها برآوردند، نه اندازه‌گیری: Mac خودتان را روی MLX Bench بسنجید. ارقام مدل‌ها از کارت رسمی هر مدل و ارقام تراشه‌ها از مشخصات فنی Apple است. بررسی‌شده در 2026-10-19. همان داده‌های mlx.app/compare.