حافظه در هر دقت
| نسخه | وزنها | با کانتکست | کوچکترین Mac |
|---|---|---|---|
| 8 بیت | 8.5 GB | 10 GB | 16 GB |
| 6 بیت | 6.5 GB | 8 GB | 16 GB |
| 4 بیت | 4.5 GB | 6 GB | 8 GB |
| 3 بیت کیفیت پایین‌تر | 3.5 GB | 5 GB | 8 GB |
| 2 بیت کیفیت پایین‌تر | 2.5 GB | 4 GB | 8 GB |
روی هر تراشهٔ Apple
کوچکترین حافظهٔ هر تراشه که Llama 3.1 8B Instruct را اجرا میکند، بهترین نسخه‌ای که در آن جا می‌شود و سرعت نوشتنی که می‌توانید انتظار داشته باشید.
| تراشه | نیاز | نسخه | توکن/ثانیه |
|---|---|---|---|
| M6 | 16 GB | 6 بیت خوب اجرا می‌شود | 11–19 |
| M5 Ultra | 96 GB | 8 بیت خوب اجرا می‌شود | 64–113 |
| M5 Max | 36 GB | 8 بیت خوب اجرا می‌شود | 24–43 |
| M5 Pro | 24 GB | 8 بیت خوب اجرا می‌شود | 16–29 |
| M5 | 16 GB | 6 بیت خوب اجرا می‌شود | 11–19 |
| M4 Max | 36 GB | 8 بیت خوب اجرا می‌شود | 22–39 |
| M4 Pro | 24 GB | 8 بیت خوب اجرا می‌شود | 14–26 |
| M4 | 16 GB | 4 بیت خوب اجرا می‌شود | 12–21 |
| M3 Ultra | 96 GB | 8 بیت خوب اجرا می‌شود | 43–77 |
| M3 Max | 36 GB | 8 بیت خوب اجرا می‌شود | 16–28 |
| M3 Pro | 18 GB | 6 بیت خوب اجرا می‌شود | 10–18 |
| M3 | 8 GB | 4 بیت خوب اجرا می‌شود | 10–18 |
| M2 Ultra | 64 GB | 8 بیت خوب اجرا می‌شود | 42–75 |
| M2 Max | 32 GB | 8 بیت خوب اجرا می‌شود | 21–38 |
| M2 Pro | 16 GB | 8 بیت خوب اجرا می‌شود | 11–19 |
| M2 | 8 GB | 4 بیت خوب اجرا می‌شود | 10–18 |
| M1 Ultra | 64 GB | 8 بیت خوب اجرا می‌شود | 42–75 |
| M1 Max | 32 GB | 8 بیت خوب اجرا می‌شود | 21–38 |
| M1 Pro | 16 GB | 8 بیت خوب اجرا می‌شود | 11–19 |
| M1 | 8 GB | 4 بیت کند | 7–12 |
چطور اجرایش کنید
- راه آسان: MLX Harness را دانلود کنید، رایگان و متن‌باز. Llama 3.1 8B Instruct را جست‌وجو کنید، نسخه‌ای را که در Mac شما جا می‌شود دانلود کنید و گفت‌وگو را شروع کنید. همچنین مدل را از طریق یک API سازگار با OpenAI در اختیار اپ‌های دیگرتان می‌گذارد.دانلود MLX Harnessرایگان · Apple Silicon · macOS 14.5 یا جدیدتر
- در Terminal با MLX از Apple:
pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-3.1-8B-Instruct-4bitنسخه: mlx-community/Llama-3.1-8B-Instruct-4bit در Hugging Face. دقت‌های دیگر کنار آن هستند.
گام به گام: دانلود و اجرای LLM روی Mac · نحوهٔ استفاده از MLX Harness · MLX در برابر Ollama و llama.cpp
دربارهٔ Llama 3.1 8B Instruct
| سازنده | Meta |
|---|---|
| پارامترها | 8B (متراکم) |
| کانتکست | 128K توکن |
| مجوز | Llama 3.1 Community License |
| انتشار | 2024-07 |
| ورودی | متن |
| وزنها | meta-llama/Llama-3.1-8B-Instruct |
پرسش‌ها
- Llama 3.1 8B Instruct چقدر حافظه لازم دارد؟
- حدود 4.5 GB برای وزنها در 4 بیت، بهعلاوهٔ جا برای کانتکست: در کل 6 GB. روی Mac یعنی 8 GB حافظهٔ یکپارچه یا بیشتر، چون macOS بهطور پیشفرض اجازه میدهد GPU حدود 75% آن را استفاده کند.
- Llama 3.1 8B Instruct روی Mac چقدر سریع است؟
- سرعت نوشتن به پهنای باند حافظه بستگی دارد. سریعترین Mac برای آن در اینجا یک M5 Ultra با 96 GB است، با حدود 64–113 توکن در ثانیه (8 بیت). کوچکترین Mac که آن را اجرا میکند، با 8 GB، روی یک M3 به حدود 10–18 میرسد.
- آیا کوانتیزاسیون به Llama 3.1 8B Instruct آسیب میزند؟
- در 4 بیت بیشتر مدلها به کیفیت اصلی نزدیک میمانند؛ زیر 4 بیت کیفیت سریعتر افت میکند. بالاترین دقتی را انتخاب کنید که با جای اضافه در Mac شما جا شود.
مدل‌های مشابه
برای کارت مدل یا README شما
کوچکترین Mac را که Llama 3.1 8B Instruct را خوب اجرا میکند نشان میدهد و به اینجا لینک میدهد.
[](https://mlx.app/run/llama-3.1-8b)چطور محاسبه شده
حافظه: پارامترهای مدل در 8، 6، 4، 3 یا 2 بیت برای هر وزن بهعلاوهٔ مقیاس‌های گروهی MLX (نیم بیت برای هر وزن)، یا قالب اصلی آن، به‌اضافهٔ جا برای کانتکست. macOS بهطور پیشفرض اجازه میدهد GPU حدود 75% حافظهٔ یکپارچه را استفاده کند. سرعت: پهنای باند حافظه تقسیم بر بایت‌هایی که برای هر توکن خوانده می‌شود، سقف سرعت یک گفت‌وگوست؛ در بنچمارک‌های عمومی llama.cpp روی Apple Silicon اجراهای واقعی به حدود 45% تا 80% آن می‌رسند و همین بازه نمایش داده می‌شود. این‌ها برآوردند، نه اندازه‌گیری: Mac خودتان را روی MLX Bench بسنجید. ارقام مدلها از کارت رسمی هر مدل و ارقام تراشه‌ها از مشخصات فنی Apple است. بررسی‌شده در 2026-10-19. همان داده‌های mlx.app/compare.