تسجيل الدخولإنشاء محفظة

هل يستطيع Mac تشغيل Llama 3.2 3B Instruct؟

نعم، بذاكرة موحّدة 8 GB أو أكثر. يضم Llama 3.2 3B Instruct عدد 3.21B من المعاملات؛ إليك الذاكرة التي يحتاجها بكل دقة، وسرعة تشغيله على كل شريحة من Apple.

الذاكرة بدقة 4 بت3.3 GBالأوزان 1.8 GB + السياق
أصغر Mac8 GB8 بت · إعدادات Mac: 58
أسرع Mac159–282توكن/ثانية · M5 Ultra 96 GB (تقدير)

الذاكرة بكل دقة

الإصدارالأوزانمع السياقأصغر Mac
8 بت3.4 GB4.9 GB8 GB
6 بت2.6 GB4.1 GB8 GB
4 بت1.8 GB3.3 GB8 GB
3 بت جودة أقل1.4 GB2.9 GB8 GB
2 بت جودة أقل1 GB2.5 GB8 GB

على كل شريحة من Apple

أصغر سعة ذاكرة لكل شريحة تشغّل Llama 3.2 3B Instruct، وأفضل إصدار يتسع فيها، وسرعة الكتابة المتوقعة.

الشريحةيحتاجالإصدارتوكن/ثانية
M616 GB8 بت يعمل جيدًا20–36
M5 Ultra96 GB8 بت يعمل جيدًا159–282
M5 Max36 GB8 بت يعمل جيدًا61–108
M5 Pro24 GB8 بت يعمل جيدًا41–72
M516 GB8 بت يعمل جيدًا20–36
M4 Max36 GB8 بت يعمل جيدًا54–96
M4 Pro24 GB8 بت يعمل جيدًا36–64
M416 GB8 بت يعمل جيدًا16–28
M3 Ultra96 GB8 بت يعمل جيدًا108–193
M3 Max36 GB8 بت يعمل جيدًا40–71
M3 Pro18 GB8 بت يعمل جيدًا20–35
M38 GB8 بت يعمل جيدًا13–24
M2 Ultra64 GB8 بت يعمل جيدًا106–188
M2 Max32 GB8 بت يعمل جيدًا53–94
M2 Pro16 GB8 بت يعمل جيدًا26–47
M28 GB8 بت يعمل جيدًا13–24
M1 Ultra64 GB8 بت يعمل جيدًا106–188
M1 Max32 GB8 بت يعمل جيدًا53–94
M1 Pro16 GB8 بت يعمل جيدًا26–47
M18 GB6 بت يعمل جيدًا12–21

كيف تشغّله

  1. الطريقة السهلة: نزّل MLX Harness، المجاني ومفتوح المصدر. ابحث عن Llama 3.2 3B Instruct، ونزّل الإصدار الذي يناسب جهاز Mac، وابدأ المحادثة. ويقدّم النموذج أيضًا لتطبيقاتك الأخرى عبر واجهة API متوافقة مع OpenAI.تنزيل MLX Harnessمجاني · Apple Silicon · macOS 14.5 أو أحدث
  2. في Terminal باستخدام MLX من Apple:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bitالإصدار: mlx-community/Llama-3.2-3B-Instruct-4bit على Hugging Face. الدقّات الأخرى بجانبه.

خطوة بخطوة: نزّل نماذج LLM وشغّلها على Mac · كيف تستخدم MLX Harness · MLX مقابل Ollama مقابل llama.cpp

عن Llama 3.2 3B Instruct

المطوّرMeta
المعاملات3.21B (كثيف)
السياق128K توكن
الترخيصLlama 3.2 Community License
تاريخ الإصدار2024-09
المدخلاتنص
الأوزانmeta-llama/Llama-3.2-3B-Instruct

أسئلة

كم ذاكرة يحتاج Llama 3.2 3B Instruct؟
نحو 1.8 GB للأوزان بدقة 4 بت، إضافة إلى مساحة للسياق: 3.3 GB إجمالًا. على Mac يعني ذلك ذاكرة موحّدة 8 GB أو أكثر، لأن macOS يسمح افتراضيًا لوحدة الرسومات باستخدام نحو 75% منها.
ما سرعة Llama 3.2 3B Instruct على Mac؟
تعتمد سرعة الكتابة على عرض نطاق الذاكرة. أسرع Mac له هنا هو M5 Ultra بذاكرة 96 GB، بنحو 159–282 توكن في الثانية (8 بت). وأصغر Mac يشغّله، بذاكرة 8 GB، يبلغ نحو 13–24 على M3.
هل يضر التكميم بـ Llama 3.2 3B Instruct؟
بدقة 4 بت تبقى معظم النماذج قريبة من الجودة الأصلية؛ وتحت 4 بت تنخفض الجودة أسرع. اختر أعلى دقة تتسع في جهاز Mac مع هامش كافٍ.

نماذج مشابهة

كل النماذج · كل أجهزة Mac · قارن جهاز Mac

لبطاقة نموذجك أو ملف README

Runs on a Mac: Llama 3.2 3B Instruct تعرض أصغر Mac يشغّل Llama 3.2 3B Instruct جيدًا، وترتبط بهذه الصفحة.

[![Runs on a Mac](https://mlx.app/badge/run/llama-3.2-3b.svg)](https://mlx.app/run/llama-3.2-3b)

كيف حسبنا ذلك

الذاكرة: معاملات النموذج بدقة 8 أو 6 أو 4 أو 3 أو 2 بت لكل وزن، إضافة إلى مقاييس المجموعات في MLX (نصف بت لكل وزن)، أو صيغته الأصلية، مع مساحة للسياق فوق ذلك. افتراضيًا، يسمح macOS لوحدة الرسومات باستخدام نحو 75% من الذاكرة الموحّدة. السرعة: عرض نطاق الذاكرة مقسومًا على البايتات المقروءة لكل توكن هو الحد الأقصى لمحادثة واحدة؛ وفي اختبارات الأداء العلنية لـ llama.cpp على Apple Silicon تبلغ التشغيلات الفعلية نحو 45% إلى 80% منه، وهو النطاق المعروض. هذه تقديرات، لا قياسات: قِس جهاز Mac الخاص بك على MLX Bench. أرقام النماذج من البطاقة الرسمية لكل نموذج، وأرقام الشرائح من المواصفات التقنية لـ Apple. آخر تحقق: 2026-10-19. البيانات نفسها في mlx.app/compare.

هل يشغّل Mac نموذج Llama 3.2 3B Instruct؟ الذاكرة والسرعة