MLX Bench
દરેક Mac દરેક મૉડલ કેટલી ઝડપે ચલાવે છે? Apple ના MLX ફ્રેમવર્ક પર ઓપન મૉડલના ટોકન પ્રતિ સેકન્ડ અને પીક મેમરી, ખરા Mac પર માપેલા અને બધા માટે પ્રકાશિત. આ MLX Builders નો ભાગ છે.
તમારું Mac ઉમેરો
કોઈ પણ Apple Silicon Mac ના Terminal માં બે કમાન્ડ. તે તમારી મેમરીમાં સમાય તેવું મૉડલ પસંદ કરે છે, mlx-lm થી માપે છે અને આંકડા અહીં શેર કરે છે.
બીજું મૉડલ અજમાવવા --model mlx-community/…, લાંબા પ્રૉમ્પ્ટ માટે --context 8192 અથવા 65536, રન તમારા વૉલેટના નામે નોંધાવવા --wallet you.mlx, અથવા તેને સ્થાનિક રાખવા --dry-run ઉમેરો. Mac Studio ના ક્લસ્ટર તેને mlx.launch --backend jaccl થી ચલાવે છે. સ્ક્રિપ્ટ ટૂંકી છે, તેથી પહેલાં વાંચો: bench.py.
જનરેશનની ઝડપ
| Mac | જનરેશન | રન |
|---|---|---|
| M1 Pro16-કોર GPU · 16 GB | 35.7 tok/s | 13 દિવસ પહેલાં |
સમુદાયના રનના મધ્યક, અત્યાર સુધી 5, 8,192 ટોકનના પ્રૉમ્પ્ટ અને 128 નવા ટોકન સાથે. ક્લસ્ટર એટલે Thunderbolt 5 થી જોડાયેલાં 2 થી 4 Mac, જે mlx.launch થી ચાલે છે; લાંબા કૉન્ટેક્સ્ટના રન Apple ની પદ્ધતિ અનુસરે છે. MLX Node ચલાવતાં Mac ફરી ચલાવે ત્યાં સુધી રન જાતે જણાવેલા છે. ઓપન ડેટા: /api/bench.