1المواصفات المهمة للذكاء الاصطناعي
| الذاكرة الموحّدة | 192 GB |
|---|---|
| عرض نطاق الذاكرة | 800 GB/s |
| متوفرة في | Mac Studio (2023), Mac Pro (2023) |
| المقعد المخصّص المناسب لها | مقعد Ultra: يعدّن حتى 320 MLX يوميًا |
2النماذج التي تتسع
بدقة 4 بت لكل وزن، يحتاج النموذج إلى ما يزيد قليلًا على نصف غيغابايت لكل مليار معامل، إضافةً إلى مساحة للسياق ولنظام macOS. وبذاكرة 192 GB، تتسع شريحة M2 Ultra بارتياح لنماذج تصل إلى نحو 256 مليار معامل.
| النموذج بدقة 4 بت | الذاكرة المطلوبة | يتسع على M2 Ultra |
|---|---|---|
| نموذج 8B | 4.5 GB | نعم |
| نموذج 14B | 7.9 GB | نعم |
| نموذج 32B | 18 GB | نعم |
| نموذج 70B | 39.4 GB | نعم |
| gpt-oss-120b، مزيج من الخبراء (MoE) | 65 GB | نعم |
| Qwen3.5-397B-A17B، مزيج من الخبراء (MoE) | 223.3 GB | لا |
| DeepSeek-V4.1-Flash، مزيج من الخبراء (MoE) | 316 GB | لا |
3ما مدى سرعتها
كتابة النص محدودة بعرض نطاق الذاكرة: كل توكن جديد يقرأ الأوزان النشطة للنموذج مرة واحدة. وبقسمة 800 GB/s لشريحة M2 Ultra على البايتات المقروءة لكل توكن نحصل على الحد الأقصى أدناه. وعادةً تبلغ التشغيلات الفعلية نحو 45% إلى 80% منه (اختبارات llama.cpp).
| النموذج بدقة 4 بت | المقروء لكل توكن | الحد الأقصى لمحادثة واحدة |
|---|---|---|
| نموذج 8B | 4.5 GB | 178 توكن/ثانية |
| نموذج 14B | 7.9 GB | 101 توكن/ثانية |
| نموذج 32B | 18 GB | 44 توكن/ثانية |
| نموذج 70B | 39.4 GB | 20 توكن/ثانية |
| gpt-oss-120b، مزيج من الخبراء (MoE) | 2.7 GB | 296 توكن/ثانية |
5قارن بشرائح أخرى
6أسئلة
- هل تستطيع شريحة M2 Ultra تشغيل نموذج 70B؟
- نعم. يحتاج نموذج 70B بدقة 4 بت إلى نحو 40 GB، وفي شريحة M2 Ultra ما يصل إلى 192 GB. توقّع حدًا أقصى يقارب 20 توكن في الثانية لمحادثة واحدة.
- كم توكنًا في الثانية تقدّم شريحة M2 Ultra؟
- لنموذج 8B بدقة 4 بت، يبلغ الحد الأقصى نحو 178 توكن في الثانية، وتصل التشغيلات الفعلية إلى ما بين النصف وأربعة أخماس ذلك تقريبًا. والنماذج الأكبر أبطأ بالنسبة نفسها.
- هل شريحة M2 Ultra جيدة للذكاء الاصطناعي؟
- لتشغيل النماذج محليًا، الأهم هو الذاكرة وعرض النطاق. في شريحة M2 Ultra ما يصل إلى 192 GB بسرعة 800 GB/s، وهذا يكفي لنماذج تصل إلى نحو 256 مليار معامل. ويمكن أيضًا أن تكسب بها بتشغيل مهام الذكاء الاصطناعي لصالح MLX Network عبر MLX Node.
المصادر
- Apple: M2 Ultraapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com