میموری سائز کے لحاظ سے
| میموری | اچھے چلتے ہیں | اچھا چلنے والا سب سے بڑا | gpt-oss-20b |
|---|---|---|---|
| 64 GB800 GB/s | 39 | Nemotron 3.5 Bolt 74B A9B | 189–337 tok/s |
| 128 GB800 GB/s | 47 | Qwen3.5 122B A10B | 189–337 tok/s |
| 192 GB800 GB/s | 49 | MiniMax M2.7 | 189–337 tok/s |
Mac ماڈلز: Mac Pro (2023), Mac Pro (Rack, 2023)۔ ہر میموری سائز ہر Mac ماڈل کے ساتھ دستیاب نہیں؛ Apple کی Tech Specs بتاتی ہیں کہ ہر ایک کس کے ساتھ آتا ہے۔
سوالات
- کیا M2 Ultra والا Mac Pro لوکل LLMs کے لیے اچھا ہے؟
- 192 GB کے ساتھ یہ 73 اوپن ماڈلز میں سے 49 اچھے چلاتا ہے، MiniMax M2.7 تک، اور gpt-oss-20b کے ساتھ فی سیکنڈ تقریباً 189–337 ٹوکن لکھتا ہے۔ M2 Ultra میموری کو 800 GB/s پر پڑھتا ہے، جو لکھنے کی رفتار طے کرتی ہے۔
- AI کے لیے M2 Ultra والے Mac Pro میں کتنی میموری ہونی چاہیے؟
- 64 GB کے ساتھ یہ 39 اوپن ماڈلز اچھے چلاتا ہے؛ 192 GB کے ساتھ 49، MiniMax M2.7 تک۔ میموری طے کرتی ہے کہ کون سے ماڈلز سمائیں گے، اور اسے بعد میں بڑھایا نہیں جا سکتا۔
دوسرے Mac
M2 Ultra والے دوسرے Mac:
آمنے سامنے:
لوکل AI کے لیے M2 Ultra · لوکل LLMs کے لیے بہترین Mac · تمام Mac
یہ کیسے نکالا گیا
میموری: ماڈل کے پیرامیٹرز فی ویٹ 8، 6، 4، 3 یا 2 bits پر، ساتھ MLX کے گروپ اسکیلز (فی ویٹ آدھا bit)، یا اس کا اصل فارمیٹ، اور اوپر سے کانٹیکسٹ کی گنجائش۔ macOS ڈیفالٹ طور پر GPU کو یونیفائیڈ میموری کا تقریباً 75% استعمال کرنے دیتا ہے۔ رفتار: میموری بینڈوڈتھ کو فی ٹوکن پڑھے جانے والے بائٹس سے تقسیم کریں تو ایک گفتگو کی حد ملتی ہے؛ llama.cpp کے Apple Silicon پر پبلک بینچ مارکس میں اصل رنز اس کے تقریباً 45% سے 80% تک پہنچتے ہیں، اور یہی رینج دکھائی گئی ہے۔ یہ اندازے ہیں، پیمائشیں نہیں: اپنا Mac MLX Bench پر ناپیں۔ ماڈل کے اعداد ہر ماڈل کے آفیشل ماڈل کارڈ سے، چپ کے اعداد Apple کی Tech Specs سے۔ 2026-10-19 کو چیک کیا گیا۔ وہی ڈیٹا جو mlx.app/compare پر ہے۔