کنار هم
سرعت با مدلهای محبوب
توکن در ثانیه برای یک گفتوگو، هر تراشه با بیشترین حافظهاش (512 GB و 512 GB)، با بهترین نسخهٔ مدل که جا میشود.
| مدل | M3 Ultra | M5 Ultra |
|---|---|---|
| Llama 3.1 8B Instruct8B | 43–77 8 بیت | 64–113 8 بیت |
| gpt-oss-20b21B · 3.6B فعال | 194–345 4.25 بیت اصلی | 284–505 4.25 بیت اصلی |
| Qwen3.6 35B A3B35B · 3B فعال | 115–205 8 بیت | 169–300 8 بیت |
| Qwen3.8 27B27B | 13–23 8 بیت | 19–33 8 بیت |
| Llama 3.3 70B Instruct70B | 5–9 8 بیت | 14–24 4 بیت |
| gpt-oss-120b117B · 5.1B فعال | 137–243 4.25 بیت اصلی | 200–356 4.25 بیت اصلی |
| Qwen3.5 122B A10B122B · 10B فعال | 35–62 8 بیت | 51–91 8 بیت |
| DeepSeek V4 Flash 0731284B · 13B فعال | 27–47 8 بیت | 39–70 8 بیت |
پرسشها
- آیا M5 Ultra برای LLM سریعتر از M3 Ultra است؟
- M5 Ultra حافظه را حدود 47% سریعتر از M3 Ultra میخواند (1,200 در برابر 819 GB/s)، پس با هر مدلی که در هر دو جا شود حدود 47% سریعتر مینویسد. اما خواندن یک پرامپت طولانی به توان محاسباتی GPU بستگی دارد که این مقایسه آن را پوشش نمیدهد.
- کدام مدلهای بزرگتری اجرا میکند، M3 Ultra یا M5 Ultra؟
- هیچکدام: هر دو تا 512 GB حافظه دارند. در این اندازه M3 Ultra 60 و M5 Ultra 61 مدل از 73 مدل باز را خوب اجرا میکنند؛ تراشهٔ سریعتر تعداد بیشتری از آنها را به 10 توکن در ثانیه میرساند.
مقایسههای بیشتر
- M2 Ultra vs M3 Ultra
- M3 Max vs M3 Ultra
- M3 Ultra vs M4 Max
- M3 Ultra vs M5 Max
- M4 Max vs M5 Ultra
- M5 Max vs M5 Ultra
تراشهٔ M3 Ultra برای هوش مصنوعی محلی · تراشهٔ M5 Ultra برای هوش مصنوعی محلی · همهٔ مدلها را مقایسه کنید · بهترین Mac برای LLM محلی
چطور محاسبه شده
حافظه: پارامترهای مدل در 8، 6، 4، 3 یا 2 بیت برای هر وزن بهعلاوهٔ مقیاسهای گروهی MLX (نیم بیت برای هر وزن)، یا قالب اصلی آن، بهاضافهٔ جا برای کانتکست. macOS بهطور پیشفرض اجازه میدهد GPU حدود 75% حافظهٔ یکپارچه را استفاده کند. سرعت: پهنای باند حافظه تقسیم بر بایتهایی که برای هر توکن خوانده میشود، سقف سرعت یک گفتوگوست؛ در بنچمارکهای عمومی llama.cpp روی Apple Silicon اجراهای واقعی به حدود 45% تا 80% آن میرسند و همین بازه نمایش داده میشود. اینها برآوردند، نه اندازهگیری: Mac خودتان را روی MLX Bench بسنجید. ارقام مدلها از کارت رسمی هر مدل و ارقام تراشهها از مشخصات فنی Apple است. بررسیشده در 2026-10-19. همان دادههای mlx.app/compare.