تراشهٔ M6 برای هوش مصنوعی محلی.

1مشخصاتی که برای هوش مصنوعی مهم‌اند

2کدام مدل‌ها جا می‌شوند

با 4 بیت برای هر وزن، مدل به کمی بیش از نیم گیگابایت برای هر میلیارد پارامتر نیاز دارد، به‌علاوهٔ فضا برای کانتکست و macOS. با 32 GB، تراشهٔ M6 به‌راحتی مدل‌هایی تا حدود 42 میلیارد پارامتر را جا می‌دهد.

3سرعت اجرا

نوشتن متن به پهنای باند حافظه محدود است: برای هر توکن جدید، وزن‌های فعال مدل یک بار خوانده می‌شوند. تقسیم 170 GB/s تراشهٔ M6 بر بایت‌های خوانده‌شده برای هر توکن، سقف زیر را می‌دهد. اجراهای واقعی معمولاً به حدود 45% تا 80% آن می‌رسند (بنچمارک‌های llama.cpp).

تراشه‌های نسل M5 شتاب‌دهنده‌های عصبی را به GPU اضافه می‌کنند، پس پرامپت‌ها را چند برابر سریع‌تر از M4 می‌خوانند: طبق اندازه‌گیری Apple، با MLX اولین توکن 3.3 تا 4.1 برابر زودتر می‌رسد (Apple).

5مقایسه با تراشه‌های دیگر

• M6 · 16 GB
• M6 · 24 GB
• M6 · 32 GB
• M5 vs M6

• M5: 32 GB، 153 GB/s
• بهترین Mac برای LLM محلی.

6پرسش‌ها

آیا M6 می‌تواند یک مدل 70B را اجرا کند؟

نه به‌راحتی. یک مدل 70B در 4 بیت حدود 40 GB حافظه لازم دارد و M6 حداکثر 32 GB دارد. مدل‌هایی تا حدود 42B پارامتر به‌خوبی جا می‌شوند.

M6 چند توکن در ثانیه می‌دهد؟

برای یک مدل 8B در 4 بیت، سقف حدود 38 توکن در ثانیه است و اجراهای واقعی تقریباً به نصف تا چهارپنجم آن می‌رسند. مدل‌های بزرگ‌تر به همان نسبت کندترند.

آیا M6 برای هوش مصنوعی خوب است؟

برای اجرای محلی مدل‌ها، حافظه و پهنای باند از همه مهم‌ترند. M6 تا 32 GB حافظه با 170 GB/s دارد که برای مدل‌هایی تا حدود 42 میلیارد پارامتر کافی است. همچنین Mac با این تراشه می‌تواند با اجرای کارهای هوش مصنوعی برای MLX Network از طریق MLX Node درآمد کسب کند.