1مشخصاتی که برای هوش مصنوعی مهم‌اند
| حافظهٔ یکپارچه | 64 GB |
|---|---|
| پهنای باند حافظه | 273 GB/s |
| موجود در | Mac mini (2024), 14- and 16-inch MacBook Pro (2024) |
| جایگاه اختصاصی متناسب | جایگاه Pro: استخراج تا 80 MLX در روز |
2کدام مدلها جا می‌شوند
با 4 بیت برای هر وزن، مدل به کمی بیش از نیم گیگابایت برای هر میلیارد پارامتر نیاز دارد، به‌علاوهٔ فضا برای کانتکست و macOS. با 64 GB، تراشهٔ M4 Pro به‌راحتی مدلهایی تا حدود 85 میلیارد پارامتر را جا میدهد.
| مدل 4 بیتی | حافظهٔ لازم | روی M4 Pro جا می‌شود |
|---|---|---|
| مدل 8B | 4.5 GB | بله |
| مدل 14B | 7.9 GB | بله |
| مدل 32B | 18 GB | بله |
| مدل 70B | 39.4 GB | بله |
| gpt-oss-120b، ترکیب خبرگان (MoE) | 65 GB | خیر |
| Qwen3.5-397B-A17B، ترکیب خبرگان (MoE) | 223.3 GB | خیر |
| DeepSeek-V4.1-Flash، ترکیب خبرگان (MoE) | 316 GB | خیر |
3سرعت اجرا
نوشتن متن به پهنای باند حافظه محدود است: برای هر توکن جدید، وزن‌های فعال مدل یک بار خوانده می‌شوند. تقسیم 273 GB/s تراشهٔ M4 Pro بر بایت‌های خوانده‌شده برای هر توکن، سقف زیر را میدهد. اجراهای واقعی معمولاً به حدود 45% تا 80% آن میرسند (بنچمارک‌های llama.cpp).
| مدل 4 بیتی | خواندن برای هر توکن | سقف برای یک گفتوگو |
|---|---|---|
| مدل 8B | 4.5 GB | 61 توکن/ثانیه |
| مدل 14B | 7.9 GB | 35 توکن/ثانیه |
| مدل 32B | 18 GB | 15 توکن/ثانیه |
| مدل 70B | 39.4 GB | 7 توکن/ثانیه |
5مقایسه با تراشه‌های دیگر
6پرسش‌ها
- آیا M4 Pro میتواند یک مدل 70B را اجرا کند؟
- بله. یک مدل 70B در 4 بیت حدود 40 GB حافظه لازم دارد و M4 Pro تا 64 GB دارد. برای یک گفتوگو سقفی حدود 7 توکن در ثانیه انتظار داشته باشید.
- M4 Pro چند توکن در ثانیه میدهد؟
- برای یک مدل 8B در 4 بیت، سقف حدود 61 توکن در ثانیه است و اجراهای واقعی تقریباً به نصف تا چهارپنجم آن میرسند. مدلهای بزرگتر به همان نسبت کندترند.
- آیا M4 Pro برای هوش مصنوعی خوب است؟
- برای اجرای محلی مدلها، حافظه و پهنای باند از همه مهمترند. M4 Pro تا 64 GB حافظه با 273 GB/s دارد که برای مدلهایی تا حدود 85 میلیارد پارامتر کافی است. همچنین Mac با این تراشه میتواند با اجرای کارهای هوش مصنوعی برای MLX Network از طریق MLX Node درآمد کسب کند.
منابع
- Apple: M4 Pro and M4 Maxapple.com
- Apple: Mac mini (2024) specssupport.apple.com