تسجيل الدخولإنشاء محفظة

هل يستطيع Mac تشغيل Llama 3.2 1B Instruct؟

نعم، بذاكرة موحّدة 8 GB أو أكثر. يضم Llama 3.2 1B Instruct عدد 1.23B من المعاملات؛ إليك الذاكرة التي يحتاجها بكل دقة، وسرعة تشغيله على كل شريحة من Apple.

الذاكرة بدقة 4 بت2.2 GBالأوزان 0.7 GB + السياق
أصغر Mac8 GB8 بت · إعدادات Mac: 58
أسرع Mac415–738توكن/ثانية · M5 Ultra 96 GB (تقدير)

الذاكرة بكل دقة

الإصدارالأوزانمع السياقأصغر Mac
8 بت1.3 GB2.8 GB8 GB
6 بت1 GB2.5 GB8 GB
4 بت0.7 GB2.2 GB8 GB
3 بت جودة أقل0.5 GB2 GB8 GB
2 بت جودة أقل0.4 GB1.9 GB8 GB

على كل شريحة من Apple

أصغر سعة ذاكرة لكل شريحة تشغّل Llama 3.2 1B Instruct، وأفضل إصدار يتسع فيها، وسرعة الكتابة المتوقعة.

الشريحةيحتاجالإصدارتوكن/ثانية
M616 GB8 بت يعمل جيدًا53–94
M5 Ultra96 GB8 بت يعمل جيدًا415–738
M5 Max36 GB8 بت يعمل جيدًا159–283
M5 Pro24 GB8 بت يعمل جيدًا106–189
M516 GB8 بت يعمل جيدًا53–94
M4 Max36 GB8 بت يعمل جيدًا142–252
M4 Pro24 GB8 بت يعمل جيدًا95–168
M416 GB8 بت يعمل جيدًا42–74
M3 Ultra96 GB8 بت يعمل جيدًا284–504
M3 Max36 GB8 بت يعمل جيدًا104–185
M3 Pro18 GB8 بت يعمل جيدًا52–92
M38 GB8 بت يعمل جيدًا35–62
M2 Ultra64 GB8 بت يعمل جيدًا277–492
M2 Max32 GB8 بت يعمل جيدًا138–246
M2 Pro16 GB8 بت يعمل جيدًا69–123
M28 GB8 بت يعمل جيدًا35–62
M1 Ultra64 GB8 بت يعمل جيدًا277–492
M1 Max32 GB8 بت يعمل جيدًا138–246
M1 Pro16 GB8 بت يعمل جيدًا69–123
M18 GB8 بت يعمل جيدًا24–42

كيف تشغّله

  1. الطريقة السهلة: نزّل MLX Harness، المجاني ومفتوح المصدر. ابحث عن Llama 3.2 1B Instruct، ونزّل الإصدار الذي يناسب جهاز Mac، وابدأ المحادثة. ويقدّم النموذج أيضًا لتطبيقاتك الأخرى عبر واجهة API متوافقة مع OpenAI.تنزيل MLX Harnessمجاني · Apple Silicon · macOS 14.5 أو أحدث
  2. في Terminal باستخدام MLX من Apple:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-3.2-1B-Instruct-4bitالإصدار: mlx-community/Llama-3.2-1B-Instruct-4bit على Hugging Face. الدقّات الأخرى بجانبه.

خطوة بخطوة: نزّل نماذج LLM وشغّلها على Mac · كيف تستخدم MLX Harness · MLX مقابل Ollama مقابل llama.cpp

عن Llama 3.2 1B Instruct

المطوّرMeta
المعاملات1.23B (كثيف)
السياق128K توكن
الترخيصLlama 3.2 Community License
تاريخ الإصدار2024-09
المدخلاتنص
الأوزانmeta-llama/Llama-3.2-1B-Instruct

أسئلة

كم ذاكرة يحتاج Llama 3.2 1B Instruct؟
نحو 0.7 GB للأوزان بدقة 4 بت، إضافة إلى مساحة للسياق: 2.2 GB إجمالًا. على Mac يعني ذلك ذاكرة موحّدة 8 GB أو أكثر، لأن macOS يسمح افتراضيًا لوحدة الرسومات باستخدام نحو 75% منها.
ما سرعة Llama 3.2 1B Instruct على Mac؟
تعتمد سرعة الكتابة على عرض نطاق الذاكرة. أسرع Mac له هنا هو M5 Ultra بذاكرة 96 GB، بنحو 415–738 توكن في الثانية (8 بت). وأصغر Mac يشغّله، بذاكرة 8 GB، يبلغ نحو 35–62 على M3.
هل يضر التكميم بـ Llama 3.2 1B Instruct؟
بدقة 4 بت تبقى معظم النماذج قريبة من الجودة الأصلية؛ وتحت 4 بت تنخفض الجودة أسرع. اختر أعلى دقة تتسع في جهاز Mac مع هامش كافٍ.

نماذج مشابهة

كل النماذج · كل أجهزة Mac · قارن جهاز Mac

لبطاقة نموذجك أو ملف README

Runs on a Mac: Llama 3.2 1B Instruct تعرض أصغر Mac يشغّل Llama 3.2 1B Instruct جيدًا، وترتبط بهذه الصفحة.

[![Runs on a Mac](https://mlx.app/badge/run/llama-3.2-1b.svg)](https://mlx.app/run/llama-3.2-1b)

كيف حسبنا ذلك

الذاكرة: معاملات النموذج بدقة 8 أو 6 أو 4 أو 3 أو 2 بت لكل وزن، إضافة إلى مقاييس المجموعات في MLX (نصف بت لكل وزن)، أو صيغته الأصلية، مع مساحة للسياق فوق ذلك. افتراضيًا، يسمح macOS لوحدة الرسومات باستخدام نحو 75% من الذاكرة الموحّدة. السرعة: عرض نطاق الذاكرة مقسومًا على البايتات المقروءة لكل توكن هو الحد الأقصى لمحادثة واحدة؛ وفي اختبارات الأداء العلنية لـ llama.cpp على Apple Silicon تبلغ التشغيلات الفعلية نحو 45% إلى 80% منه، وهو النطاق المعروض. هذه تقديرات، لا قياسات: قِس جهاز Mac الخاص بك على MLX Bench. أرقام النماذج من البطاقة الرسمية لكل نموذج، وأرقام الشرائح من المواصفات التقنية لـ Apple. آخر تحقق: 2026-10-19. البيانات نفسها في mlx.app/compare.

هل يشغّل Mac نموذج Llama 3.2 1B Instruct؟ الذاكرة والسرعة