شغّل نموذج لغة على جهاز Mac.

1ما يتسع على جهاز Mac

يجب أن تتسع أوزان النموذج في الذاكرة مع هامش إضافي للسياق ولنظام macOS. بدقة 4 بت لكل وزن، احسب نحو 0.55 إلى 0.6 GB لكل مليار معامل.

السرعة مسألة منفصلة: كل توكن جديد يتطلب قراءة الأوزان النشطة من الذاكرة مرة واحدة، لذا يتناسب عدد التوكنات في الثانية مع عرض نطاق الذاكرة. يغطي دليلنا عن أفضل Mac لنماذج اللغة المحلية كل الشرائح.

2الطريقة السهلة: LM Studio

LM Studio تطبيق مجاني لـ Mac فيه نافذة محادثة ومتصفح للنماذج. على Apple Silicon يمكنه تشغيل النماذج بصيغة MLX من Apple، وكذلك بصيغة GGUF التي يستخدمها llama.cpp.

1. نزّل LM Studio وافتحه.
2. ابحث عن نموذج، وفضّل نسخة MLX على Apple Silicon، واختر حجمًا يتسع في ذاكرتك.
3. حمّله وابدأ المحادثة. ويمكنك أيضًا تشغيل الخادم المحلي فيه لتستخدمه تطبيقات أخرى.

3أمر واحد: Ollama

يشغّل Ollama النماذج من الطرفية ويقدّمها لتطبيقات أخرى على جهاز Mac. بعد تثبيته، يكفي أمر واحد لتنزيل نموذج وتشغيله:

ollama run llama3.2

منذ الإصدار 0.19، يتضمن Ollama على Apple Silicon نسخة تجريبية تعمل بإطار عمل MLX من Apple للنماذج المدعومة، مع تسريع كبير؛ وتتطلب النسخة التجريبية جهاز Mac بذاكرة تزيد على 32 GB (Ollama).

4الطريقة الأسرع: MLX من Apple و mlx-lm

MLX إطار عمل مفتوح المصدر من Apple لتعلم الآلة على Apple Silicon، وmlx-lm حزمته لنماذج اللغة. وآلاف النماذج جاهزة للاستخدام من منظمة mlx-community على Hugging Face.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

استخدم mlx_lm.chat لمحادثة في الطرفية، وmlx_lm.server لواجهة API محلية تستدعيها تطبيقات أخرى. على شرائح M5، يستخدم MLX المسرّعات العصبية الجديدة في وحدة الرسومات: قاست Apple وصول أول توكن أسرع بـ 3.3 إلى 4.1 مرة مقارنةً بـ M4 (Apple Machine Learning Research).

5قِس أداءه، ثم شغّله لصالحك

MLX Bench لوحة صدارة مفتوحة لسرعة MLX على كل شريحة Apple Silicon: توكنات التوليد والموجّه في الثانية وذروة استهلاك الذاكرة. شغّل السكربت المكوّن من ملف واحد على جهاز Mac وانظر أين يقع.

حين لا تستخدم جهاز Mac، يمكنه تشغيل الذكاء الاصطناعي للآخرين. MLX Node تطبيق مجاني يشغّل مهام ذكاء اصطناعي لـ MLX Network على إطار عمل MLX نفسه، ويكسب رموز MLX مقابل العمل المُتحقَّق منه، ضمن الحدود التي تضبطها.

6أسئلة

هل يستطيع MacBook Air تشغيل نموذج لغة؟

نعم. يشغّل MacBook Air بذاكرة 16 GB نماذج 7B إلى 14B بدقة 4 بت بارتياح، ومع 32 GB نماذج حتى نحو 30B. سيكون أبطأ من Mac بشريحة Pro أو Max، لأن عرض نطاق الذاكرة فيها أكبر.

هل MLX أسرع من Ollama على Mac؟

غالبًا، لأن MLX مكتوب لـ Apple Silicon. وتُظهر نسخة Ollama التجريبية العاملة بـ MLX تسريعًا كبيرًا على Apple Silicon. يقارن دليلنا MLX مقابل Ollama بينهما بالتفصيل.

هل تعمل النماذج المحلية دون إنترنت؟

نعم. بعد تنزيله، يعمل النموذج بالكامل على جهاز Mac، ولا تغادره موجّهاتك أبدًا.

كم أحتاج من الذاكرة لنموذج 70B؟

نحو 40 GB للأوزان بدقة 4 بت، أي Mac بذاكرة 64 GB أو أكثر. ونماذج خليط الخبراء ذات الجودة المماثلة قد تحتاج ذاكرة أكبر لكنها تعمل أسرع.