1مشخصاتی که برای هوش مصنوعی مهم‌اند
| حافظهٔ یکپارچه | 192 GB |
|---|---|
| پهنای باند حافظه | 800 GB/s |
| موجود در | Mac Studio (2023), Mac Pro (2023) |
| جایگاه اختصاصی متناسب | جایگاه Ultra: استخراج تا 320 MLX در روز |
2کدام مدلها جا می‌شوند
با 4 بیت برای هر وزن، مدل به کمی بیش از نیم گیگابایت برای هر میلیارد پارامتر نیاز دارد، به‌علاوهٔ فضا برای کانتکست و macOS. با 192 GB، تراشهٔ M2 Ultra به‌راحتی مدلهایی تا حدود 256 میلیارد پارامتر را جا میدهد.
| مدل 4 بیتی | حافظهٔ لازم | روی M2 Ultra جا می‌شود |
|---|---|---|
| مدل 8B | 4.5 GB | بله |
| مدل 14B | 7.9 GB | بله |
| مدل 32B | 18 GB | بله |
| مدل 70B | 39.4 GB | بله |
| gpt-oss-120b، ترکیب خبرگان (MoE) | 65 GB | بله |
| Qwen3.5-397B-A17B، ترکیب خبرگان (MoE) | 223.3 GB | خیر |
| DeepSeek-V4.1-Flash، ترکیب خبرگان (MoE) | 316 GB | خیر |
3سرعت اجرا
نوشتن متن به پهنای باند حافظه محدود است: برای هر توکن جدید، وزن‌های فعال مدل یک بار خوانده می‌شوند. تقسیم 800 GB/s تراشهٔ M2 Ultra بر بایت‌های خوانده‌شده برای هر توکن، سقف زیر را میدهد. اجراهای واقعی معمولاً به حدود 45% تا 80% آن میرسند (بنچمارک‌های llama.cpp).
| مدل 4 بیتی | خواندن برای هر توکن | سقف برای یک گفتوگو |
|---|---|---|
| مدل 8B | 4.5 GB | 178 توکن/ثانیه |
| مدل 14B | 7.9 GB | 101 توکن/ثانیه |
| مدل 32B | 18 GB | 44 توکن/ثانیه |
| مدل 70B | 39.4 GB | 20 توکن/ثانیه |
| gpt-oss-120b، ترکیب خبرگان (MoE) | 2.7 GB | 296 توکن/ثانیه |
5مقایسه با تراشه‌های دیگر
6پرسش‌ها
- آیا M2 Ultra میتواند یک مدل 70B را اجرا کند؟
- بله. یک مدل 70B در 4 بیت حدود 40 GB حافظه لازم دارد و M2 Ultra تا 192 GB دارد. برای یک گفتوگو سقفی حدود 20 توکن در ثانیه انتظار داشته باشید.
- M2 Ultra چند توکن در ثانیه میدهد؟
- برای یک مدل 8B در 4 بیت، سقف حدود 178 توکن در ثانیه است و اجراهای واقعی تقریباً به نصف تا چهارپنجم آن میرسند. مدلهای بزرگتر به همان نسبت کندترند.
- آیا M2 Ultra برای هوش مصنوعی خوب است؟
- برای اجرای محلی مدلها، حافظه و پهنای باند از همه مهمترند. M2 Ultra تا 192 GB حافظه با 800 GB/s دارد که برای مدلهایی تا حدود 256 میلیارد پارامتر کافی است. همچنین Mac با این تراشه میتواند با اجرای کارهای هوش مصنوعی برای MLX Network از طریق MLX Node درآمد کسب کند.
منابع
- Apple: M2 Ultraapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com