MLX Bench
हर Mac हर मॉडल को कितनी तेज़ी से चलाता है? Apple के MLX फ़्रेमवर्क पर ओपन मॉडल के टोकन प्रति सेकंड और पीक मेमोरी, असली Mac पर मापे गए और सबके लिए प्रकाशित। यह MLX Builders का हिस्सा है।
अपना Mac जोड़ें
किसी भी Apple Silicon Mac के Terminal में दो कमांड। यह आपकी मेमोरी में फ़िट होने वाला मॉडल चुनता है, mlx-lm से मापता है और नतीजे यहाँ साझा करता है।
दूसरा मॉडल आज़माने के लिए --model mlx-community/…, लंबे प्रॉम्प्ट के लिए --context 8192 या 65536, रन को अपने वॉलेट के नाम दर्ज कराने के लिए --wallet you.mlx, या इसे लोकल रखने के लिए --dry-run जोड़ें। Mac Studio के क्लस्टर इसे mlx.launch --backend jaccl से चलाते हैं। स्क्रिप्ट छोटी है, इसलिए पहले पढ़ लें: bench.py।
जनरेशन की रफ़्तार
| Mac | जनरेशन | रन |
|---|---|---|
| M1 Pro16-कोर GPU · 16 GB | 35.7 tok/s | 13 दिन पहले |
समुदाय के रन का मीडियन, अब तक 5, 8,192 टोकन के प्रॉम्प्ट और 128 नए टोकन के साथ। क्लस्टर Thunderbolt 5 से जुड़े 2 से 4 Mac होते हैं और mlx.launch से चलते हैं; लंबे कॉन्टेक्स्ट वाले रन Apple के तरीके का पालन करते हैं। जब तक MLX Node चलाने वाले Mac इन्हें दोबारा नहीं चलाते, रन स्वयं बताए गए हैं। ओपन डेटा: /api/bench।