MLX Bench
ہر Mac ہر ماڈل کو کتنی تیزی سے چلاتا ہے؟ Apple کے MLX فریم ورک پر اوپن ماڈلز کے ٹوکن فی سیکنڈ اور زیادہ سے زیادہ میموری، اصل Mac پر ناپے گئے اور سب کے لیے شائع۔ یہ MLX Builders کا حصہ ہے۔
اپنا Mac شامل کریں
کسی بھی Apple Silicon Mac کے Terminal میں دو کمانڈز۔ یہ آپ کی میموری میں سمانے والا ماڈل چنتا ہے، mlx-lm سے ناپتا ہے اور نتائج یہاں شیئر کرتا ہے۔
کوئی اور ماڈل آزمانے کے لیے --model mlx-community/…، لمبے پرامپٹس کے لیے --context 8192 یا 65536، رن اپنے والیٹ کے نام کرنے کے لیے --wallet you.mlx، یا اسے مقامی رکھنے کے لیے --dry-run شامل کریں۔ Mac Studio کے کلسٹر اسے mlx.launch --backend jaccl سے چلاتے ہیں۔ اسکرپٹ مختصر ہے، اس لیے پہلے پڑھ لیں: bench.py۔
جنریشن کی رفتار
| Mac | جنریشن | رنز |
|---|---|---|
| M1 Pro16 کور GPU · 16 GB | 35.7 tok/s | 13 دن پہلے |
کمیونٹی رنز کا میڈین، اب تک 5، 8,192 ٹوکن کے پرامپٹس اور 128 نئے ٹوکنز کے ساتھ۔ کلسٹر Thunderbolt 5 سے جڑے 2 سے 4 Mac ہوتے ہیں جو mlx.launch سے چلتے ہیں؛ لمبے کانٹیکسٹ والے رنز Apple کے طریقے پر چلتے ہیں۔ جب تک MLX Node چلانے والے Mac انہیں دوبارہ نہ چلائیں، رنز خود رپورٹ کردہ ہیں۔ اوپن ڈیٹا: /api/bench۔