تسجيل الدخولإنشاء محفظة

هل يستطيع Mac تشغيل Llama 3.3 70B Instruct؟

نعم، بذاكرة موحّدة 64 GB أو أكثر. يضم Llama 3.3 70B Instruct عدد 70B من المعاملات؛ إليك الذاكرة التي يحتاجها بكل دقة، وسرعة تشغيله على كل شريحة من Apple.

الذاكرة بدقة 4 بت42.6 GBالأوزان 39.4 GB + السياق
أصغر Mac64 GB4 بت · إعدادات Mac: 39
أسرع Mac14–24توكن/ثانية · M5 Ultra 96 GB (تقدير)

الذاكرة بكل دقة

الإصدارالأوزانمع السياقأصغر Mac
8 بت74.4 GB80.4 GB128 GB
6 بت56.9 GB61.5 GB96 GB
4 بت39.4 GB42.6 GB64 GB
3 بت جودة أقل30.6 GB33 GB48 GB
2 بت جودة أقل21.9 GB23.7 GB32 GB

على كل شريحة من Apple

أصغر سعة ذاكرة لكل شريحة تشغّل Llama 3.3 70B Instruct، وأفضل إصدار يتسع فيها، وسرعة الكتابة المتوقعة.

الشريحةيحتاجالإصدارتوكن/ثانية
M632 GB2 بت بطيء3–6
M5 Ultra96 GB4 بت يعمل جيدًا14–24
M5 Max64 GB4 بت بطيء7–12
M5 Pro64 GB4 بت بطيء4–6
M532 GB2 بت بطيء3–6
M4 Max64 GB4 بت بطيء6–11
M4 Pro64 GB4 بت بطيء3–6
M432 GB2 بت بطيء2–4
M3 Ultra96 GB6 بت بطيء6–12
M3 Max64 GB4 بت بطيء5–8
M3 Pro36 GB2 بت بطيء3–5
M3لا سعة تكفيكبير جدًا–
M2 Ultra64 GB4 بت بطيء9–16
M2 Max64 GB4 بت بطيء5–8
M2 Pro32 GB2 بت بطيء4–7
M2لا سعة تكفيكبير جدًا–
M1 Ultra64 GB4 بت بطيء9–16
M1 Max64 GB4 بت بطيء5–8
M1 Pro32 GB2 بت بطيء4–7
M1لا سعة تكفيكبير جدًا–

كيف تشغّله

  1. الطريقة السهلة: نزّل MLX Harness، المجاني ومفتوح المصدر. ابحث عن Llama 3.3 70B Instruct، ونزّل الإصدار الذي يناسب جهاز Mac، وابدأ المحادثة. ويقدّم النموذج أيضًا لتطبيقاتك الأخرى عبر واجهة API متوافقة مع OpenAI.تنزيل MLX Harnessمجاني · Apple Silicon · macOS 14.5 أو أحدث
  2. في Terminal باستخدام MLX من Apple:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-3.3-70B-Instruct-4bitالإصدار: mlx-community/Llama-3.3-70B-Instruct-4bit على Hugging Face. الدقّات الأخرى بجانبه.

خطوة بخطوة: نزّل نماذج LLM وشغّلها على Mac · كيف تستخدم MLX Harness · MLX مقابل Ollama مقابل llama.cpp

عن Llama 3.3 70B Instruct

المطوّرMeta
المعاملات70B (كثيف)
السياق128K توكن
الترخيصLlama 3.3 Community License
تاريخ الإصدار2024-12
المدخلاتنص
الأوزانmeta-llama/Llama-3.3-70B-Instruct

أسئلة

كم ذاكرة يحتاج Llama 3.3 70B Instruct؟
نحو 39.4 GB للأوزان بدقة 4 بت، إضافة إلى مساحة للسياق: 42.6 GB إجمالًا. على Mac يعني ذلك ذاكرة موحّدة 64 GB أو أكثر، لأن macOS يسمح افتراضيًا لوحدة الرسومات باستخدام نحو 75% منها.
ما سرعة Llama 3.3 70B Instruct على Mac؟
تعتمد سرعة الكتابة على عرض نطاق الذاكرة. أسرع Mac له هنا هو M5 Ultra بذاكرة 96 GB، بنحو 14–24 توكن في الثانية (4 بت). وأصغر Mac يشغّله، بذاكرة 64 GB، يبلغ نحو 9–16 على M2 Ultra.
هل يضر التكميم بـ Llama 3.3 70B Instruct؟
بدقة 4 بت تبقى معظم النماذج قريبة من الجودة الأصلية؛ وتحت 4 بت تنخفض الجودة أسرع. اختر أعلى دقة تتسع في جهاز Mac مع هامش كافٍ.

نماذج مشابهة

كل النماذج · كل أجهزة Mac · قارن جهاز Mac

لبطاقة نموذجك أو ملف README

Runs on a Mac: Llama 3.3 70B Instruct تعرض أصغر Mac يشغّل Llama 3.3 70B Instruct جيدًا، وترتبط بهذه الصفحة.

[![Runs on a Mac](https://mlx.app/badge/run/llama-3.3-70b.svg)](https://mlx.app/run/llama-3.3-70b)

كيف حسبنا ذلك

الذاكرة: معاملات النموذج بدقة 8 أو 6 أو 4 أو 3 أو 2 بت لكل وزن، إضافة إلى مقاييس المجموعات في MLX (نصف بت لكل وزن)، أو صيغته الأصلية، مع مساحة للسياق فوق ذلك. افتراضيًا، يسمح macOS لوحدة الرسومات باستخدام نحو 75% من الذاكرة الموحّدة. السرعة: عرض نطاق الذاكرة مقسومًا على البايتات المقروءة لكل توكن هو الحد الأقصى لمحادثة واحدة؛ وفي اختبارات الأداء العلنية لـ llama.cpp على Apple Silicon تبلغ التشغيلات الفعلية نحو 45% إلى 80% منه، وهو النطاق المعروض. هذه تقديرات، لا قياسات: قِس جهاز Mac الخاص بك على MLX Bench. أرقام النماذج من البطاقة الرسمية لكل نموذج، وأرقام الشرائح من المواصفات التقنية لـ Apple. آخر تحقق: 2026-10-19. البيانات نفسها في mlx.app/compare.

هل يشغّل Mac نموذج Llama 3.3 70B Instruct؟ الذاكرة والسرعة