باختصار
- الأوزان: عدد المعاملات × البتات لكل وزن ÷ 8. بصيغة MLX بدقة 4 بت يساوي ذلك نحو 0.56 GB لكل مليار معامل؛ وبدقة 8 بت نحو 1.06 GB، وبدقة 16 بت 2 GB.
- إذن يحتاج نموذج 8B إلى نحو 4.5 GB بدقة 4 بت، ونموذج 32B إلى نحو 18 GB، ونموذج 70B إلى نحو 39 GB، قبل حساب السياق.
- السياق (KV cache) يأتي فوق ذلك ويكبر مع كل توكن: في Qwen3 8B يأخذ سياق من 32,000 توكن نحو 4.8 GB، أكثر من أوزانه بدقة 4 بت.
- على Mac تستطيع وحدة الرسومات استخدام نحو 75% من الذاكرة الموحّدة افتراضيًا، فيبقى لجهاز Mac بذاكرة 16 GB نحو 12 GB للنموذج. أما على PC فيجب أن يتسع النموذج في ذاكرة VRAM الخاصة ببطاقة الرسومات ليعمل بأقصى سرعة.
1القاعدة: المعاملات × البتات
النموذج في معظمه أوزانه: رقم واحد لكل معامل. بدقة 16 بت يأخذ كل وزن بايتين، فيحتاج النموذج 2 GB لكل مليار معامل. التكميم يخزّن كل وزن بعدد أقل من البتات، فيصغر النموذج بالنسبة نفسها تقريبًا؛ وبدقة 4 بت تبقى معظم النماذج قريبة من جودتها الأصلية.
الصيغ المكمّمة تخزّن أيضًا قليلًا من البيانات الإضافية لإعادة بناء الأوزان. يحتفظ MLX من Apple افتراضيًا بمعامل قياس وانحياز لكل مجموعة من 64 وزنًا، بنوع النموذج نفسه بدقة 16 بت (MLX)، وهذا يضيف نصف بت لكل وزن. فتكون الأحجام كالتالي:
| الدقة | البتات لكل وزن | GB لكل مليار معامل |
|---|---|---|
| 16 بت (الأصلية) | 16 | 2.0 |
| 8 بت | 8.5 | نحو 1.06 |
| 6 بت | 6.5 | نحو 0.81 |
| 4 بت | 4.5 | نحو 0.56 |
| 3 بت | 3.5 | نحو 0.44 |
| 2 بت | 2.5 | نحو 0.31 |
تحت 4 بت تنخفض الجودة أسرع. والاختيار الافتراضي الجيد هو أعلى دقة تتسع مع هامش مريح.
2الذاكرة لأحجام النماذج الشائعة
| حجم النموذج | 16 بت | 8 بت | 4 بت | 3 بت |
|---|---|---|---|---|
| 1B | 2 GB | 1.1 GB | 0.6 GB | 0.4 GB |
| 3B | 6 GB | 3.2 GB | 1.7 GB | 1.3 GB |
| 8B | 16 GB | 8.5 GB | 4.5 GB | 3.5 GB |
| 14B | 28 GB | 14.9 GB | 7.9 GB | 6.1 GB |
| 32B | 64 GB | 34 GB | 18 GB | 14 GB |
| 70B | 140 GB | 74.4 GB | 39.4 GB | 30.6 GB |
| 120B | 240 GB | 127.5 GB | 67.5 GB | 52.5 GB |
| 235B | 470 GB | 249.7 GB | 132.2 GB | 102.8 GB |
| 405B | 810 GB | 430.3 GB | 227.8 GB | 177.2 GB |
| 671B | 1,342 GB | 712.9 GB | 377.4 GB | 293.6 GB |
بعض النماذج تأتي بدقة منخفضة خاصة بها. فنموذج gpt-oss-120b من OpenAI فيه 117 مليار معامل ويحفظ أوزان خليط الخبراء بصيغة 4 بت هي MXFP4، فيتسع في وحدة GPU واحدة بذاكرة 80 GB (OpenAI). ولنموذج بعينه افتح صفحته: كل نموذج مفتوح والـ Mac الذي يحتاجه، مثل gpt-oss-120b أو Llama 3.3 70B.
3السياق يأخذ ذاكرة أيضًا
حين يقرأ النموذج ويكتب، يحتفظ بمفتاح وقيمة لكل توكن من المحادثة في كل طبقة: هذا هو KV cache. وحجمه 2 × عدد الطبقات × رؤوس KV × حجم الرأس × البايتات لكل قيمة × عدد التوكنات.
في Qwen3 8B مثلًا 36 طبقة و8 رؤوس KV وحجم رأس 128، مخزّنة بدقة 16 بت (config). أي 147,456 بايت لكل توكن:
| السياق | KV cache لـ Qwen3 8B (16 بت) |
|---|---|
| 8,192 توكن | نحو 1.2 GB |
| 32,768 توكن | نحو 4.8 GB |
| 40,960 توكن (سياقه الكامل) | نحو 6.0 GB |
النماذج التي تستخدم الانتباه بالاستعلامات المجمّعة (grouped-query attention)، مثل هذا النموذج، تحتفظ برؤوس KV أقل من رؤوس الانتباه (8 مقابل 32)، وهذا وحده يقلّص الذاكرة المؤقتة إلى الربع. ويمكنك توفير المزيد بتكميم الذاكرة المؤقتة: يقبل خادم mlx-lm الخيار --kv-bits 4 (mlx-lm). للمحادثة تكفي بضعة آلاف من التوكنات؛ أما للوكلاء والمستندات الطويلة والبرمجة فخصّص عدة غيغابايتات.
4أكبر نموذج يتسع على Mac
ذاكرة Mac يتشاركها المعالج ووحدة الرسومات، ويسمح macOS افتراضيًا لوحدة الرسومات باستخدام جزء منها فقط. تحسب صفحة المقارنة نحو 75%؛ ويشرح ملف README في mlx-lm كيف ترفع الحد على macOS 15 أو أحدث بالأمر sudo sysctl iogpu.wired_limit_mb=N (mlx-lm)، لكن macOS وتطبيقاتك الأخرى تظل بحاجة إلى مساحة.
| ذاكرة Mac | لوحدة الرسومات (نحو 75%) | أكبر نموذج بدقة 4 بت | أكبر نموذج بدقة 8 بت |
|---|---|---|---|
| 8 GB | 6 GB | نحو 10B | نحو 5B |
| 16 GB | 12 GB | نحو 21B | نحو 11B |
| 24 GB | 18 GB | نحو 32B | نحو 16B |
| 32 GB | 24 GB | نحو 42B | نحو 22B |
| 36 GB | 27 GB | نحو 48B | نحو 25B |
| 48 GB | 36 GB | نحو 64B | نحو 33B |
| 64 GB | 48 GB | نحو 85B | نحو 45B |
| 96 GB | 72 GB | نحو 128B | نحو 67B |
| 128 GB | 96 GB | نحو 170B | نحو 90B |
| 256 GB | 192 GB | نحو 341B | نحو 180B |
| 512 GB | 384 GB | نحو 682B | نحو 361B |
الذاكرة تحدد ما يتسع؛ وعرض نطاق الذاكرة يحدد سرعة الكتابة. يشرح دليل أفضل Mac لنماذج اللغة المحلية النصف الثاني، وتجمع صفحة ترتيب كل أجهزة Mac الأمرين معًا.
5RAM و VRAM والذاكرة الموحّدة
على PC ببطاقة رسومات، لا يعمل النموذج بأقصى سرعة إلا إذا اتسع في ذاكرة البطاقة نفسها، أي VRAM: وهي 32 GB في RTX 5090 (NVIDIA). يمكن تشغيل الطبقات التي لا تتسع من ذاكرة RAM الخاصة بالنظام بدلًا من ذلك، لكن قراءة هذه الذاكرة أبطأ بكثير، فيتباطأ النموذج كثيرًا.
ليس في Mac ذاكرة VRAM منفصلة: وحدة الرسومات تقرأ الذاكرة الموحّدة نفسها التي يقرؤها المعالج، ولهذا يستطيع Mac بذاكرة 64 GB أو 128 GB أن يحمل نماذج لا تتسع لها أي بطاقة رسومات استهلاكية منفردة. وبعض أجهزة PC تعمل الآن بالطريقة نفسها، مثل DGX Spark من NVIDIA وأجهزة Ryzen AI Max من AMD بذاكرة 128 GB مشتركة بين المعالج ووحدة الرسومات: اطّلع على M5 Max مقابل DGX Spark وM5 Max مقابل RTX 5090.
6نماذج خليط الخبراء
نموذج خليط الخبراء يحمل كل معاملاته في الذاكرة لكنه لا يستخدم إلا القليل منها لكل توكن. الذاكرة تتبع العدد الكلي، والسرعة تتبع الجزء النشط. في gpt-oss-20b يوجد 21 مليار معامل منها 3.6 مليار نشطة (OpenAI): يحتاج ذاكرة كنموذج 21B ويكتب بسرعة نموذج 4B تقريبًا.
وهذا يجعل نماذج خليط الخبراء مناسبة لأجهزة Mac، التي لديها ذاكرة أكثر مقارنةً بعرض النطاق إذا قيست ببطاقات الرسومات. تعرض صفحة المقارنة الرقمين لكل نموذج شائع.
7أسئلة
- كم أحتاج من الذاكرة لتشغيل نموذج 70B؟
- نحو 39 GB للأوزان بدقة 4 بت، إضافةً إلى السياق: عمليًا Mac بذاكرة 64 GB أو أكثر، أو عدة بطاقات رسومات. وبدقة 8 بت يحتاج نحو 74 GB، أي 128 GB.
- هل تكفي ذاكرة 16 GB لتشغيل نموذج LLM؟
- نعم، للنماذج حتى نحو 14B معامل بدقة 4 بت: يعطي Mac بذاكرة 16 GB وحدة الرسومات نحو 12 GB افتراضيًا. وتعمل نماذج 8B بارتياح مع مساحة للسياق. اطّلع على أفضل نماذج LLM لجهاز Mac بذاكرة 16 GB.
- كم VRAM يحتاج نموذج 8B؟
- نحو 4.5 GB بدقة 4 بت، و8.5 GB بدقة 8 بت، و16 GB بدقة 16 بت، إضافةً إلى نحو 1.2 GB لسياق من 8,000 توكن في حالة Qwen3 8B.
- هل يستهلك طول السياق ذاكرة؟
- نعم. يكبر KV cache مع كل توكن في المحادثة. في Qwen3 8B يبلغ نحو 147 KB لكل توكن بدقة 16 بت: أي نحو 4.8 GB عند 32,000 توكن.
- هل يمكنني تشغيل نموذج أكبر من ذاكرتي؟
- ليس بشكل مفيد. إن لم تتسع الأوزان، يلجأ النظام إلى ذاكرة التبديل أو يقرأ من ذاكرة أبطأ، فيصبح الإخراج بطيئًا جدًا. استخدم دقة أقل، أو نموذجًا أصغر، أو نموذج خليط خبراء، أو وزّعه على عدة أجهزة: اطّلع على عناقيد Mac للذكاء الاصطناعي.