1مشخصاتی که برای هوش مصنوعی مهم‌اند
| حافظهٔ یکپارچه | 24 GB |
|---|---|
| پهنای باند حافظه | 100 GB/s |
| موجود در | MacBook Air (2022, 2023), 13-inch MacBook Pro (2022), Mac mini (2023) |
| جایگاه اختصاصی متناسب | جایگاه Core: استخراج تا 20 MLX در روز |
2کدام مدلها جا میشوند
با 4 بیت برای هر وزن، مدل به کمی بیش از نیم گیگابایت برای هر میلیارد پارامتر نیاز دارد، به‌علاوهٔ فضا برای کانتکست و macOS. با 24 GB، تراشهٔ M2 بهراحتی مدلهایی تا حدود 32 میلیارد پارامتر را جا میدهد.
| مدل 4 بیتی | حافظهٔ لازم | روی M2 جا می‌شود |
|---|---|---|
| مدل 8B | 4.5 GB | بله |
| مدل 14B | 7.9 GB | بله |
| مدل 32B | 18 GB | بله |
| مدل 70B | 39.4 GB | خیر |
| gpt-oss-120b، ترکیب خبرگان (MoE) | 65 GB | خیر |
| Qwen3.5-397B-A17B، ترکیب خبرگان (MoE) | 223.3 GB | خیر |
| DeepSeek-V4.1-Flash، ترکیب خبرگان (MoE) | 316 GB | خیر |
3سرعت اجرا
نوشتن متن به پهنای باند حافظه محدود است: برای هر توکن جدید، وزن‌های فعال مدل یک بار خوانده میشوند. تقسیم 100 GB/s تراشهٔ M2 بر بایت‌های خوانده‌شده برای هر توکن، سقف زیر را میدهد. اجراهای واقعی معمولاً به حدود 45% تا 80% آن میرسند (بنچمارک‌های llama.cpp).
| مدل 4 بیتی | خواندن برای هر توکن | سقف برای یک گفت‌وگو |
|---|---|---|
| مدل 8B | 4.5 GB | 22 توکن/ثانیه |
| مدل 14B | 7.9 GB | 13 توکن/ثانیه |
| مدل 32B | 18 GB | 6 توکن/ثانیه |
5مقایسه با تراشه‌های دیگر
6پرسش‌ها
- آیا M2 میتواند یک مدل 70B را اجرا کند؟
- نه بهراحتی. یک مدل 70B در 4 بیت حدود 40 GB حافظه لازم دارد و M2 حداکثر 24 GB دارد. مدلهایی تا حدود 32B پارامتر بهخوبی جا میشوند.
- M2 چند توکن در ثانیه میدهد؟
- برای یک مدل 8B در 4 بیت، سقف حدود 22 توکن در ثانیه است و اجراهای واقعی تقریباً به نصف تا چهارپنجم آن میرسند. مدلهای بزرگتر به همان نسبت کندترند.
- آیا M2 برای هوش مصنوعی خوب است؟
- برای اجرای محلی مدلها، حافظه و پهنای باند از همه مهمترند. M2 تا 24 GB حافظه با 100 GB/s دارد که برای مدلهایی تا حدود 32 میلیارد پارامتر کافی است. همچنین Mac با این تراشه میتواند با اجرای کارهای هوش مصنوعی برای MLX Network از طریق MLX Node درآمد کسب کند.
منابع
- Apple: M2apple.com
- llama.cpp: Apple Silicon benchmarksgithub.com