بهطور خلاصه
- Mac mini تا 64 GB (M5 Pro) میرسد و Mac Studio با M5 Max تا 128 GB و با M5 Ultra تا 512 GB (Apple، Apple).
- پهنای باند سرعت نوشتن را تعیین میکند: 153–170 GB/s در Mac mini با M6، 307 GB/s در M5 Pro، تا 614 GB/s در M5 Max و 1,200 GB/s در M5 Ultra.
- مدلهایی تا حدود 30B پارامتر در 4 بیت: یک Mac mini با M5 Pro کافی است. مدل‌های ردهٔ 70B، gpt-oss-120b یا کانتکستهای طولانی: یک Mac Studio با 128 GB. بزرگ‌ترین مدل‌های باز: یک Mac Studio با M5 Ultra.
- حافظه را بعداً نمی‌شود ارتقا داد، پس آن را برای مدلهایی انتخاب کنید که سال آینده میخواهید اجرا کنید، نه فقط امروز.
1مشخصاتی که برای هوش مصنوعی مهم‌اند
| Mac | گزینه‌های حافظه | پهنای باند حافظه | بزرگ‌ترین مدل در 4 بیت | برق، از بیکار تا حداکثر |
|---|---|---|---|---|
| Mac mini، M6 | 16، 24 یا 32 GB | 153–170 GB/s | حدود 21B تا 42B | 4–70 W |
| Mac mini، M5 Pro | 24، 48 یا 64 GB | 307 GB/s | حدود 32B تا 85B | 6–145 W |
| Mac Studio، M5 Max | 36، 48، 64 یا 128 GB | 460–614 GB/s | حدود 48B تا 170B | 7–200 W |
| Mac Studio، M5 Ultra | 96، 256 یا 512 GB | 1,200 GB/s | حدود 128B تا 682B | 9–385 W |
هر پیکربندی به مدلهایی پیوند دارد که روی آن خوب اجرا می‌شوند. مدل‌های قبلی هم همین‌طور کار می‌کنند: Mac mini با M4 یا M4 Pro، و Mac Studio با M4 Max یا M3 Ultra (رتبه‌بندی همهٔ Macها).
2هر کدام با چه سرعتی مینویسد
برای نوشتن متن، وزن‌های فعال مدل برای هر توکن یک بار خوانده می‌شوند، پس پهنای باند حافظه سقفی برای سرعت می‌گذارد. برای یک مدل متراکم 32B در 4 بیت، حدود 18 GB:
| Mac | سقف برای یک چت | جا می‌شود؟ |
|---|---|---|
| Mac mini، M6 (32 GB) | حدود 9 توکن در ثانیه | بله |
| Mac mini، M5 Pro (48 یا 64 GB) | حدود 17 توکن در ثانیه | بله |
| Mac Studio، M5 Max (48 GB یا بیشتر) | حدود 34 توکن در ثانیه | بله |
| Mac Studio، M5 Ultra | حدود 67 توکن در ثانیه | بله |
مدل‌های ترکیب متخصصان (MoE) برای هر توکن فقط بخشی از وزن‌هایشان را می‌خوانند، پس خیلی سریعتر از آنچه اندازه‌شان نشان میدهد می‌نویسند: حافظه تعیین میکند جا شوند یا نه، و پهنای باند همچنان سرعت را تعیین میکند. خواندن یک پرامپت طولانی بیشتر به توان محاسباتی GPU بستگی دارد تا پهنای باند، و آنجا GPUهای بزرگ‌تر تراشه‌های Max و Ultra فاصلهٔ بیشتری می‌گیرند.
3کدام برای کدام مدل‌ها
- مدل‌های کوچک و متوسط (تا حدود 30B در 4 بیت)، چت، دستیارهای کدنویسی، سرور هوش مصنوعی خانگی: یک Mac mini با M5 Pro و 48 یا 64 GB. Mac mini با M6 و 32 GB همین اندازه‌ها را با حدود نصف سرعت اجرا میکند.
- مدل‌های ردهٔ 70B، gpt-oss-120b، کانتکستهای طولانی یا چند مدل هم‌زمان: یک Mac Studio با M5 Max و 128 GB. فایل‌های رسمی gpt-oss-120b از OpenAI حدود 65 GB است (OpenAI)، بیشتر از آنچه هر Mac mini میتواند به GPU خود بدهد.
- بزرگ‌ترین مدل‌های باز (صدها میلیارد پارامتر): یک Mac Studio با M5 Ultra و 256 یا 512 GB، یا چند Mac با هم (کلاسترهای هوش مصنوعی Mac).
برای یک مدل مشخص، صفحه‌اش کوچک‌ترین Macی را که آن را اجرا میکند و سرعتش را روی هر تراشه نشان میدهد: همهٔ مدل‌های باز.
4اجرای شبانه‌روزی
هر دو دستگاه‌هایی بی‌صدا و کم‌مصرف برای روشن ماندن دائمی‌اند. طبق ارقام Apple در بالا، Mac mini در حالت بیکار 4–6 W و Mac Studio 7–9 W مصرف میکند؛ زیر بار کامل، Mac Studio با M5 Ultra میتواند تا 385 W بکشد. Mac mini به‌عنوان سرور هوش مصنوعی توضیح میدهد چطور بیدار نگهش دارید و مدل‌ها را به دستگاه‌های دیگر ارائه کنید، و Mac چقدر برق مصرف میکند هزینهٔ یک روز را.
وقتی بیکار است، MLX Node میتواند کارهای هوش مصنوعی MLX Network را اجرا کند و MLX Tokens به دست آورد. یک جایگاه اختصاصی متناسب با تراشه سریعتر استخراج میکند: Core برای M6، Pro برای M5 Pro و M5 Max، Ultra برای M5 Ultra. درآمد تضمینی نیست: ریسک‌ها را بخوانید.
5پرسش‌ها
- آیا Mac Studio برای هوش مصنوعی ارزش بیشتری از Mac mini دارد؟
- اگر مدلهایی بالاتر از حدود 85B پارامتر، gpt-oss-120b یا کانتکستهای طولانی میخواهید، بله: فقط Mac Studio بیش از 64 GB دارد. برای مدلهایی تا حدود 30B در 4 بیت، Mac mini با M5 Pro آنها را اجرا میکند، با حدود نصف پهنای باند M5 Max.
- آیا Mac mini میتواند مدل 70B اجرا کند؟
- فقط M5 Pro با 64 GB، در 4 بیت و با کانتکست کوتاه: حدود 39 GB وزن در 48 GB که GPU بهطور پیشفرض میتواند به کار ببرد، با چند توکن در ثانیه. یک Mac Studio با 128 GB آن را با جای کافی برای کانتکست و حدود دو برابر سریعتر اجرا میکند.
- Mac Studio با M5 Max یا M5 Ultra برای LLM؟
- M5 Ultra حدود دو برابر پهنای باند دارد (1,200 در برابر 614 GB/s)، پس حدود دو برابر سریعتر مینویسد و تا 512 GB میرسد. M5 Max با 128 GB مدلهایی تا حدود 170B را در 4 بیت پوشش میدهد. M5 Max در برابر M5 Ultra را ببینید.
- Mac mini با M6 یا M5 Pro برای هوش مصنوعی؟
- M5 Pro: حافظه را حدود 80% سریعتر از M6 با 24 یا 32 GB میخواند و به جای 32 GB تا 64 GB میرسد.
منابع
- Applesupport.apple.com
- Applesupport.apple.com
- Mac minisupport.apple.com
- Mac Studiosupport.apple.com
- بنچمارک‌های llama.cppgithub.com
- OpenAIhuggingface.co