1مشخصاتی که برای هوش مصنوعی مهم‌اند
| حافظهٔ یکپارچه | 512 GB |
|---|---|
| پهنای باند حافظه | 819 GB/s |
| موجود در | Mac Studio (2025) |
| جایگاه اختصاصی متناسب | جایگاه Ultra: استخراج تا 320 MLX در روز |
2کدام مدلها جا می‌شوند
با 4 بیت برای هر وزن، مدل به کمی بیش از نیم گیگابایت برای هر میلیارد پارامتر نیاز دارد، به‌علاوهٔ فضا برای کانتکست و macOS. با 512 GB، تراشهٔ M3 Ultra به‌راحتی مدلهایی تا حدود 682 میلیارد پارامتر را جا میدهد.
| مدل 4 بیتی | حافظهٔ لازم | روی M3 Ultra جا می‌شود |
|---|---|---|
| مدل 8B | 4.5 GB | بله |
| مدل 14B | 7.9 GB | بله |
| مدل 32B | 18 GB | بله |
| مدل 70B | 39.4 GB | بله |
| gpt-oss-120b، ترکیب خبرگان (MoE) | 65 GB | بله |
| Qwen3.5-397B-A17B، ترکیب خبرگان (MoE) | 223.3 GB | بله |
| DeepSeek-V4.1-Flash، ترکیب خبرگان (MoE) | 316 GB | بله |
3سرعت اجرا
نوشتن متن به پهنای باند حافظه محدود است: برای هر توکن جدید، وزن‌های فعال مدل یک بار خوانده می‌شوند. تقسیم 819 GB/s تراشهٔ M3 Ultra بر بایت‌های خوانده‌شده برای هر توکن، سقف زیر را میدهد. اجراهای واقعی معمولاً به حدود 45% تا 80% آن میرسند (بنچمارک‌های llama.cpp).
| مدل 4 بیتی | خواندن برای هر توکن | سقف برای یک گفتوگو |
|---|---|---|
| مدل 8B | 4.5 GB | 182 توکن/ثانیه |
| مدل 14B | 7.9 GB | 104 توکن/ثانیه |
| مدل 32B | 18 GB | 46 توکن/ثانیه |
| مدل 70B | 39.4 GB | 21 توکن/ثانیه |
| gpt-oss-120b، ترکیب خبرگان (MoE) | 2.7 GB | 303 توکن/ثانیه |
| Qwen3.5-397B-A17B، ترکیب خبرگان (MoE) | 9.6 GB | 85 توکن/ثانیه |
| DeepSeek-V4.1-Flash، ترکیب خبرگان (MoE) | 9 GB | 91 توکن/ثانیه |
اندازه‌گیری‌شده: روی M3 Ultra (80-core GPU)، llama.cpp در بنچمارک‌های عمومی‌اش با Llama-2-7B (Q4_0) 92 توکن در ثانیه تولید می‌کند.
5مقایسه با تراشه‌های دیگر
6پرسش‌ها
- آیا M3 Ultra میتواند یک مدل 70B را اجرا کند؟
- بله. یک مدل 70B در 4 بیت حدود 40 GB حافظه لازم دارد و M3 Ultra تا 512 GB دارد. برای یک گفتوگو سقفی حدود 21 توکن در ثانیه انتظار داشته باشید.
- M3 Ultra چند توکن در ثانیه میدهد؟
- برای یک مدل 8B در 4 بیت، سقف حدود 182 توکن در ثانیه است و اجراهای واقعی تقریباً به نصف تا چهارپنجم آن میرسند. مدلهای بزرگتر به همان نسبت کندترند.
- آیا M3 Ultra برای هوش مصنوعی خوب است؟
- برای اجرای محلی مدلها، حافظه و پهنای باند از همه مهمترند. M3 Ultra تا 512 GB حافظه با 819 GB/s دارد که برای مدلهایی تا حدود 682 میلیارد پارامتر کافی است. همچنین Mac با این تراشه میتواند با اجرای کارهای هوش مصنوعی برای MLX Network از طریق MLX Node درآمد کسب کند.
منابع
- Apple: Mac Studio (2025) specssupport.apple.com
- llama.cpp: Apple Silicon benchmarksgithub.com