آیا M2 Max میتواند یک مدل 70B را اجرا کند؟

بله. یک مدل 70B در 4 بیت حدود 40 GB حافظه لازم دارد و M2 Max تا 96 GB دارد. برای یک گفتوگو سقفی حدود 10 توکن در ثانیه انتظار داشته باشید.

M2 Max چند توکن در ثانیه میدهد؟

برای یک مدل 8B در 4 بیت، سقف حدود 89 توکن در ثانیه است و اجراهای واقعی تقریباً به نصف تا چهارپنجم آن میرسند. مدلهای بزرگتر به همان نسبت کندترند.

آیا M2 Max برای هوش مصنوعی خوب است؟

برای اجرای محلی مدلها، حافظه و پهنای باند از همه مهمترند. M2 Max تا 96 GB حافظه با 400 GB/s دارد که برای مدلهایی تا حدود 128 میلیارد پارامتر کافی است. همچنین Mac با این تراشه میتواند با اجرای کارهای هوش مصنوعی برای MLX Network از طریق MLX Node درآمد کسب کند.

تراشهٔ M2 Max برای اجرای محلی LLM: حافظه، سرعت و مدل‌ها

1مشخصاتی که برای هوش مصنوعی مهم‌اند

حافظهٔ یکپارچه	96 GB
پهنای باند حافظه	400 GB/s
موجود در	14- and 16-inch MacBook Pro (2023), Mac Studio (2023)
جایگاه اختصاصی متناسب	جایگاه Pro: استخراج تا 80 MLX در روز

2کدام مدل‌ها جا می‌شوند

با 4 بیت برای هر وزن، مدل به کمی بیش از نیم گیگابایت برای هر میلیارد پارامتر نیاز دارد، به‌علاوهٔ فضا برای کانتکست و macOS. با 96 GB، تراشهٔ M2 Max به‌راحتی مدل‌هایی تا حدود 128 میلیارد پارامتر را جا می‌دهد.

مدل 4 بیتی	حافظهٔ لازم	روی M2 Max جا می‌شود
مدل 8B	4.5 GB	بله
مدل 14B	7.9 GB	بله
مدل 32B	18 GB	بله
مدل 70B	39.4 GB	بله
gpt-oss-120b، ترکیب خبرگان (MoE)	65 GB	بله
Qwen3.5-397B-A17B، ترکیب خبرگان (MoE)	223.3 GB	خیر
DeepSeek-V4.1-Flash، ترکیب خبرگان (MoE)	316 GB	خیر

3سرعت اجرا

نوشتن متن به پهنای باند حافظه محدود است: برای هر توکن جدید، وزن‌های فعال مدل یک بار خوانده می‌شوند. تقسیم 400 GB/s تراشهٔ M2 Max بر بایت‌های خوانده‌شده برای هر توکن، سقف زیر را می‌دهد. اجراهای واقعی معمولاً به حدود 45% تا 80% آن می‌رسند (بنچمارک‌های llama.cpp).

مدل 4 بیتی	خواندن برای هر توکن	سقف برای یک گفت‌وگو
مدل 8B	4.5 GB	89 توکن/ثانیه
مدل 14B	7.9 GB	51 توکن/ثانیه
مدل 32B	18 GB	22 توکن/ثانیه
مدل 70B	39.4 GB	10 توکن/ثانیه
gpt-oss-120b، ترکیب خبرگان (MoE)	2.7 GB	148 توکن/ثانیه

5مقایسه با تراشه‌های دیگر

6پرسش‌ها

آیا M2 Max می‌تواند یک مدل 70B را اجرا کند؟: بله. یک مدل 70B در 4 بیت حدود 40 GB حافظه لازم دارد و M2 Max تا 96 GB دارد. برای یک گفت‌وگو سقفی حدود 10 توکن در ثانیه انتظار داشته باشید.
M2 Max چند توکن در ثانیه می‌دهد؟: برای یک مدل 8B در 4 بیت، سقف حدود 89 توکن در ثانیه است و اجراهای واقعی تقریباً به نصف تا چهارپنجم آن می‌رسند. مدل‌های بزرگ‌تر به همان نسبت کندترند.
آیا M2 Max برای هوش مصنوعی خوب است؟: برای اجرای محلی مدل‌ها، حافظه و پهنای باند از همه مهم‌ترند. M2 Max تا 96 GB حافظه با 400 GB/s دارد که برای مدل‌هایی تا حدود 128 میلیارد پارامتر کافی است. همچنین Mac با این تراشه می‌تواند با اجرای کارهای هوش مصنوعی برای MLX Network از طریق MLX Node درآمد کسب کند.

منابع

Apple: M2 Pro and M2 Maxapple.com
llama.cpp: Apple Silicon benchmarksgithub.com