بر اساس اندازهٔ حافظه
| حافظه | خوب اجرا میشوند | بزرگ‌ترین که خوب اجرا می‌شود | gpt-oss-20b |
|---|---|---|---|
| 96 GB1,200 GB/s | 44 | gpt-oss-120b | 284–505 tok/s |
| 256 GB1,200 GB/s | 54 | MiMo V2.6 Flash | 284–505 tok/s |
| 512 GB1,200 GB/s | 61 | DeepSeek V4.1 Flash 1017 | 284–505 tok/s |
مدلها: Mac Studio (M5 Max or M5 Ultra). هر اندازهٔ حافظه برای هر مدلی عرضه نمی‌شود؛ مشخصات فنی Apple فهرست میکند که هر کدام با چه حافظه‌ای عرضه می‌شود.
پرسش‌ها
- آیا Mac Studio با M5 Ultra برای LLMهای محلی خوب است؟
- با 512 GB، 61 از 73 مدل باز را خوب اجرا میکند، تا DeepSeek V4.1 Flash 1017، و با gpt-oss-20b حدود 284–505 توکن در ثانیه مینویسد. M5 Ultra حافظه را با 1,200 GB/s میخواند، که سرعت نوشتن را تعیین میکند.
- یک Mac Studio با M5 Ultra برای هوش مصنوعی چقدر حافظه باید داشته باشد؟
- با 96 GB، 44 مدل باز خوب اجرا میشوند؛ با 512 GB، 61 مدل، تا DeepSeek V4.1 Flash 1017. حافظه تعیین میکند کدام مدلها جا میشوند و بعداً قابل ارتقا نیست.
Macهای دیگر
Mac Studio با تراشه‌های دیگر:
- Mac Studio M5 Max
- Mac Studio M4 Max
- Mac Studio M3 Ultra
- Mac Studio M2 Max
- Mac Studio M2 Ultra
- Mac Studio M1 Max
- Mac Studio M1 Ultra
رودررو:
در برابر PC و کارت گرافیک:
تراشهٔ M5 Ultra برای هوش مصنوعی محلی · بهترین Mac برای LLM محلی · همهٔ Macها
چطور محاسبه شده
حافظه: پارامترهای مدل در 8، 6، 4، 3 یا 2 بیت برای هر وزن به‌علاوهٔ مقیاس‌های گروهی MLX (نیم بیت برای هر وزن)، یا قالب اصلی آن، به‌اضافهٔ جا برای کانتکست. macOS به‌طور پیش‌فرض اجازه می‌دهد GPU حدود 75% حافظهٔ یکپارچه را استفاده کند. سرعت: پهنای باند حافظه تقسیم بر بایت‌هایی که برای هر توکن خوانده می‌شود، سقف سرعت یک گفت‌وگوست؛ در بنچمارک‌های عمومی llama.cpp روی Apple Silicon اجراهای واقعی به حدود 45% تا 80% آن می‌رسند و همین بازه نمایش داده می‌شود. این‌ها برآوردند، نه اندازه‌گیری: Mac خودتان را روی MLX Bench بسنجید. ارقام مدلها از کارت رسمی هر مدل و ارقام تراشه‌ها از مشخصات فنی Apple است. بررسی‌شده در 2026-10-19. همان داده‌های mlx.app/compare.