1مشخصاتی که برای هوش مصنوعی مهم‌اند
| حافظهٔ یکپارچه | 512 GB |
|---|---|
| پهنای باند حافظه | 1.2 TB/s |
| موجود در | Mac Studio (2026) |
| جایگاه اختصاصی متناسب | جایگاه Ultra Latest: استخراج تا 480 MLX در روز |
2کدام مدلها جا می‌شوند
با 4 بیت برای هر وزن، مدل به کمی بیش از نیم گیگابایت برای هر میلیارد پارامتر نیاز دارد، به‌علاوهٔ فضا برای کانتکست و macOS. با 512 GB، تراشهٔ M5 Ultra به‌راحتی مدلهایی تا حدود 682 میلیارد پارامتر را جا میدهد.
| مدل 4 بیتی | حافظهٔ لازم | روی M5 Ultra جا می‌شود |
|---|---|---|
| مدل 8B | 4.5 GB | بله |
| مدل 14B | 7.9 GB | بله |
| مدل 32B | 18 GB | بله |
| مدل 70B | 39.4 GB | بله |
| gpt-oss-120b، ترکیب خبرگان (MoE) | 65 GB | بله |
| Qwen3.5-397B-A17B، ترکیب خبرگان (MoE) | 223.3 GB | بله |
| DeepSeek-V4.1-Flash، ترکیب خبرگان (MoE) | 316 GB | بله |
3سرعت اجرا
نوشتن متن به پهنای باند حافظه محدود است: برای هر توکن جدید، وزن‌های فعال مدل یک بار خوانده می‌شوند. تقسیم 1.2 TB/s تراشهٔ M5 Ultra بر بایت‌های خوانده‌شده برای هر توکن، سقف زیر را میدهد. اجراهای واقعی معمولاً به حدود 45% تا 80% آن میرسند (بنچمارک‌های llama.cpp).
| مدل 4 بیتی | خواندن برای هر توکن | سقف برای یک گفتوگو |
|---|---|---|
| مدل 8B | 4.5 GB | 267 توکن/ثانیه |
| مدل 14B | 7.9 GB | 152 توکن/ثانیه |
| مدل 32B | 18 GB | 67 توکن/ثانیه |
| مدل 70B | 39.4 GB | 30 توکن/ثانیه |
| gpt-oss-120b، ترکیب خبرگان (MoE) | 2.7 GB | 444 توکن/ثانیه |
| Qwen3.5-397B-A17B، ترکیب خبرگان (MoE) | 9.6 GB | 125 توکن/ثانیه |
| DeepSeek-V4.1-Flash، ترکیب خبرگان (MoE) | 9 GB | 133 توکن/ثانیه |
اندازه‌گیری‌شده: روی M5 Ultra (80-core GPU)، llama.cpp در بنچمارک‌های عمومی‌اش با Llama-2-7B (Q4_0) 179 توکن در ثانیه تولید می‌کند.
تراشه‌های نسل M5 شتاب‌دهنده‌های عصبی را به GPU اضافه می‌کنند، پس پرامپت‌ها را چند برابر سریع‌تر از M4 می‌خوانند: طبق اندازه‌گیری Apple، با MLX اولین توکن 3.3 تا 4.1 برابر زودتر می‌رسد (Apple).
5مقایسه با تراشه‌های دیگر
6پرسش‌ها
- آیا M5 Ultra میتواند یک مدل 70B را اجرا کند؟
- بله. یک مدل 70B در 4 بیت حدود 40 GB حافظه لازم دارد و M5 Ultra تا 512 GB دارد. برای یک گفتوگو سقفی حدود 30 توکن در ثانیه انتظار داشته باشید.
- M5 Ultra چند توکن در ثانیه میدهد؟
- برای یک مدل 8B در 4 بیت، سقف حدود 267 توکن در ثانیه است و اجراهای واقعی تقریباً به نصف تا چهارپنجم آن میرسند. مدلهای بزرگتر به همان نسبت کندترند.
- آیا M5 Ultra برای هوش مصنوعی خوب است؟
- برای اجرای محلی مدلها، حافظه و پهنای باند از همه مهمترند. M5 Ultra تا 512 GB حافظه با 1.2 TB/s دارد که برای مدلهایی تا حدود 682 میلیارد پارامتر کافی است. همچنین Mac با این تراشه میتواند با اجرای کارهای هوش مصنوعی برای MLX Network از طریق MLX Node درآمد کسب کند.
منابع
- Apple: M6 and M5 Ultraapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com