MLX Bench
प्रत्येक Mac प्रत्येक मॉडेल किती वेगाने चालवतो? Apple च्या MLX फ्रेमवर्कवरील ओपन मॉडेलचे टोकन प्रति सेकंद आणि कमाल मेमरी, खऱ्या Mac वर मोजलेले आणि सर्वांसाठी प्रकाशित. हा MLX Builders चा भाग आहे.
तुमचा Mac जोडा
कोणत्याही Apple Silicon Mac च्या Terminal मध्ये दोन कमांड. ते तुमच्या मेमरीत बसणारे मॉडेल निवडते, mlx-lm ने मोजते आणि आकडे इथे शेअर करते.
दुसरे मॉडेल तपासण्यासाठी --model mlx-community/…, लांब प्रॉम्प्टसाठी --context 8192 किंवा 65536, रन तुमच्या वॉलेटच्या नावे नोंदवण्यासाठी --wallet you.mlx, किंवा ते स्थानिक ठेवण्यासाठी --dry-run जोडा. Mac Studio चे क्लस्टर ते mlx.launch --backend jaccl ने चालवतात. स्क्रिप्ट छोटी आहे, म्हणून आधी वाचा: bench.py.
जनरेशनचा वेग
| Mac | जनरेशन | रन |
|---|---|---|
| M1 Pro16-कोर GPU · 16 GB | 35.7 tok/s | 13 दिवसांपूर्वी |
समुदायाच्या रनचे मध्यक, आतापर्यंत 5, 8,192 टोकनच्या प्रॉम्प्ट आणि 128 नवीन टोकनसह. क्लस्टर म्हणजे Thunderbolt 5 ने जोडलेले 2 ते 4 Mac, जे mlx.launch ने चालतात; लांब कॉन्टेक्स्टचे रन Apple ची पद्धत पाळतात. MLX Node चालवणारे Mac पुन्हा चालवेपर्यंत रन स्वतः नोंदवलेले आहेत. ओपन डेटा: /api/bench.