نزّل نماذج LLM وشغّلها على Mac.

1أين تجد النماذج

تستضيف Hugging Face معظم النماذج مفتوحة الأوزان. يأتي النموذج نفسه عادةً بعدة إصدارات، والصيغة تحدد التطبيق الذي يستطيع تشغيله:

لست متأكدًا من بيئة التشغيل التي تستخدمها؟ يقارن دليل MLX مقابل Ollama مقابل llama.cpp بينها. جديد على كل هذا؟ ابدأ بدليل تشغيل نموذج لغة على جهاز Mac.

2اختر حجمًا يناسب ذاكرتك

يجب أن تتسع أوزان النموذج في الذاكرة مع هامش إضافي. يخزّن MLX الوزن المُكمَّم ببِتاته إضافة إلى مقياس وانحياز مشتركين لكل مجموعة من 64 وزنًا، أي نحو نصف بت إضافي لكل وزن (MLX). لذا تكلّف دقة 4 بت نحو 0.56 GB لكل مليار معامل، ودقة 8 بت نحو 1.06 GB.

يسمح macOS افتراضيًا لوحدة الرسومات باستخدام جزء فقط من الذاكرة الموحّدة؛ تفترض صفحة Compare نحو ثلاثة أرباعها، ويوضح ملف README الخاص بـ mlx-lm كيف ترفع الحد على macOS 15 أو أحدث بالأمر sudo sysctl iogpu.wired_limit_mb=N (mlx-lm). في نماذج مزيج الخبراء (MoE)، يحدد إجمالي المعاملات الذاكرة، وتحدد المعاملات النشطة السرعة. تجري صفحة Compare هذا الحساب لكل نموذج شائع ولكل شريحة من Apple، ويشرح دليل أفضل Mac لنماذج اللغة المحلية لماذا يحدد عرض النطاق السرعة.

3التكميم: 4 بت و 8 بت وغيرهما

يخزّن التكميم كل وزن بعدد أقل من البتات، فيشغل النموذج ذاكرة أقل ويعمل أسرع، على حساب شيء من الجودة. دقة 4 بت هي نقطة البداية المعتادة على Mac. ودقة 8 بت أقرب إلى الأصل وضعف الحجم. وتحت 4 بت تصغر الملفات لكن الإجابات تسوء أسرع، فلا تجربها إلا حين لا يتسع نموذج أكبر بغير ذلك.

• إصدارات MLX تذكر ذلك في الاسم: -4bit و -8bit، وأحيانًا إصدارات مختلطة الدقة تُبقي الطبقات الحساسة ببتات أكثر.
• ملفات GGUF تستخدم تسميات llama.cpp: Q4_K_M و Q5_K_M و Q8_0 وهكذا. وحين تشغّل مستودع GGUF من Hugging Face في Ollama دون تحديد ملف، يختار Q4_K_M إن وُجد (Hugging Face).
• اصنع بنفسك إصدار MLX من الأوزان الأصلية: يكتب الأمر mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q نسخة بدقة 4 بت (mlx-lm).

4مساحة القرص وأين تُحفظ النماذج

حجم التنزيل يقارب حجم الأوزان في الجدول أعلاه، فنموذج 8B بدقة 4 بت يشغل بضعة غيغابايتات، ونموذج 70B عشرات الغيغابايتات. وتجربة عدة أحجام أو إصدارات من النموذج نفسه تتراكم بسرعة.

يحفظ mlx-lm وأدوات Hugging Face الأخرى التنزيلات في ~/.cache/huggingface/hub؛ اضبط HF_HOME أو HF_HUB_CACHE لنقلها. يعرض hf cache ls ما هناك ويحذف hf cache rm نموذجًا (Hugging Face). أما Ollama و LM Studio فيحفظان النماذج في مجلداتهما الخاصة ويديرانها بنفسيهما.

5النماذج المقيّدة ورموز Hugging Face

بعض النماذج، ومنها Llama، مقيّدة: عليك قبول شروط صانعها قبل أن تتمكن من تنزيلها (Hugging Face).

1. سجّل الدخول إلى حساب Hugging Face مجاني وافتح صفحة النموذج.
2. اقبل الشروط بالزر الموجود في الصفحة (افتراضيًا Agree and send request to access repo). بعض الصانعين يوافقون على الطلبات يدويًا، وهذا يستغرق وقتًا أطول.
3. أنشئ رمز وصول (access token) في إعدادات حسابك على Hugging Face.
4. أعطِ الرمز لأدواتك: شغّل hf auth login في Terminal لـ mlx-lm وأدوات Hugging Face الأخرى (Hugging Face)، أو الصقه في حقل رمز Hugging Face في التطبيق.

6شغّله: أربع طرق

mlx-lm: إطار MLX من Apple في Terminal

ثبّته عبر pip، ثم سمِّ أي نموذج MLX على Hugging Face؛ يُنزّله التشغيل الأول (mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

يقدّم mlx_lm.server نموذجًا عبر واجهة API بنمط OpenAI على localhost:8080 للتطبيقات الأخرى (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: تطبيق بمتصفح نماذج

يبحث LM Studio عن النماذج من Hugging Face وينزّلها داخل التطبيق، ويشغّل نماذج MLX على Apple Silicon وكذلك GGUF عبر llama.cpp. يحتاج إلى Apple Silicon و macOS 14 أو أحدث، ويوصي بذاكرة 16 GB أو أكثر (LM Studio).

Ollama: أمر واحد

يشغّل Ollama النماذج من مكتبته الخاصة، وأي مستودع GGUF على Hugging Face مباشرةً، مع وسم تكميم اختياري (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: تطبيقنا المجاني

MLX Harness تطبيقنا المجاني لـ Mac، المبني على vMLX: يبحث في Hugging Face عن نماذج MLX، ويدردش، ويشغّل الأدوات ونماذج الصور، ويقدّم كل شيء عبر واجهة API محلية. وبوابته تستخدم أيضًا المنفذ 8080، فلا تشغّله مع mlx_lm.server على المنفذ نفسه. وحين لا تستخدم جهازك، يستطيع MLX Node أن يعيره لشبكة MLX Network بدلًا من ذلك.

7أسئلة

من أين أنزّل نماذج LLM لجهاز Mac؟

من Hugging Face. ابحث عن إصدارات MLX، وكثير منها تنشره mlx-community، أو عن ملفات GGUF. ويستطيع LM Studio و Ollama البحث والتنزيل نيابةً عنك.

ما حجم النموذج الذي يجب أن أنزّله؟

نموذج تتسع أوزانه بارتياح في ذاكرة جهازك: بدقة 4 بت نحو 0.56 GB لكل مليار معامل، أي نحو 4.5 GB لنموذج 8B و 39 GB لنموذج 70B، إضافة إلى مساحة للسياق. وتتحقق صفحة Compare على mlx.app من ذلك لجهازك.

MLX أم GGUF على Mac؟

كلاهما يعمل جيدًا على Apple Silicon. إصدارات MLX مصنوعة لإطار MLX من Apple وتعمل في mlx-lm و LM Studio و MLX Harness؛ وملفات GGUF تعمل في llama.cpp و Ollama و LM Studio.

هل أحتاج إلى حساب على Hugging Face؟

ليس للنماذج العامة. أما النماذج المقيّدة فتحتاج إلى حساب مجاني، وقبول الترخيص، ورمز وصول.

هل يمكنني تشغيل النماذج المنزّلة دون اتصال بالإنترنت؟

نعم. بمجرد أن تصبح الملفات على جهازك، يعمل النموذج دون اتصال بالإنترنت وتبقى موجّهاتك على الجهاز.