ساتھ ساتھ
مقبول ماڈلز کے ساتھ رفتار
ایک گفتگو کے لیے فی سیکنڈ ٹوکن، ہر چپ اپنے سب سے بڑے میموری سائز پر (512 GB اور 512 GB)، ماڈل کے اس بہترین ورژن کے ساتھ جو سماتا ہے۔
| ماڈل | M3 Ultra | M5 Ultra |
|---|---|---|
| Llama 3.1 8B Instruct8B | 43–77 8-bit | 64–113 8-bit |
| gpt-oss-20b21B · 3.6B فعال | 194–345 اصل 4.25-bit | 284–505 اصل 4.25-bit |
| Qwen3.6 35B A3B35B · 3B فعال | 115–205 8-bit | 169–300 8-bit |
| Qwen3.8 27B27B | 13–23 8-bit | 19–33 8-bit |
| Llama 3.3 70B Instruct70B | 5–9 8-bit | 14–24 4-bit |
| gpt-oss-120b117B · 5.1B فعال | 137–243 اصل 4.25-bit | 200–356 اصل 4.25-bit |
| Qwen3.5 122B A10B122B · 10B فعال | 35–62 8-bit | 51–91 8-bit |
| DeepSeek V4 Flash 0731284B · 13B فعال | 27–47 8-bit | 39–70 8-bit |
سوالات
- کیا LLMs کے لیے M5 Ultra، M3 Ultra سے تیز ہے؟
- M5 Ultra میموری کو M3 Ultra سے تقریباً 47% تیز پڑھتا ہے (1,200 بمقابلہ 819 GB/s)، اس لیے دونوں میں سمانے والے کسی بھی ماڈل کے ساتھ تقریباً 47% تیز لکھتا ہے۔ لمبا پرامپٹ پڑھنا البتہ GPU کمپیوٹ پر منحصر ہے، جو اس موازنے میں شامل نہیں۔
- بڑے ماڈلز کون چلا سکتا ہے، M3 Ultra یا M5 Ultra؟
- کوئی نہیں: دونوں میں 512 GB تک میموری ملتی ہے۔ اس سائز پر M3 Ultra، 73 اوپن ماڈلز میں سے 60 اور M5 Ultra 61 اچھے چلاتا ہے؛ تیز والا ان میں سے زیادہ کو فی سیکنڈ 10 ٹوکن تک پہنچاتا ہے۔
مزید موازنے
- M2 Ultra vs M3 Ultra
- M3 Max vs M3 Ultra
- M3 Ultra vs M4 Max
- M3 Ultra vs M5 Max
- M4 Max vs M5 Ultra
- M5 Max vs M5 Ultra
لوکل AI کے لیے M3 Ultra · لوکل AI کے لیے M5 Ultra · ہر ماڈل کا موازنہ کریں · لوکل LLMs کے لیے بہترین Mac
یہ کیسے نکالا گیا
میموری: ماڈل کے پیرامیٹرز فی ویٹ 8، 6، 4، 3 یا 2 bits پر، ساتھ MLX کے گروپ اسکیلز (فی ویٹ آدھا bit)، یا اس کا اصل فارمیٹ، اور اوپر سے کانٹیکسٹ کی گنجائش۔ macOS ڈیفالٹ طور پر GPU کو یونیفائیڈ میموری کا تقریباً 75% استعمال کرنے دیتا ہے۔ رفتار: میموری بینڈوڈتھ کو فی ٹوکن پڑھے جانے والے بائٹس سے تقسیم کریں تو ایک گفتگو کی حد ملتی ہے؛ llama.cpp کے Apple Silicon پر پبلک بینچ مارکس میں اصل رنز اس کے تقریباً 45% سے 80% تک پہنچتے ہیں، اور یہی رینج دکھائی گئی ہے۔ یہ اندازے ہیں، پیمائشیں نہیں: اپنا Mac MLX Bench پر ناپیں۔ ماڈل کے اعداد ہر ماڈل کے آفیشل ماڈل کارڈ سے، چپ کے اعداد Apple کی Tech Specs سے۔ 2026-10-19 کو چیک کیا گیا۔ وہی ڈیٹا جو mlx.app/compare پر ہے۔