MLX Bench
ప్రతి Mac ప్రతి మోడల్‌ను ఎంత వేగంగా రన్ చేస్తుంది? Apple MLX ఫ్రేమ్‌వర్క్‌పై ఓపెన్ మోడళ్లకు సెకనుకు టోకెన్లు, గరిష్ఠ మెమరీ, నిజమైన Macలపై కొలిచి అందరి కోసం ప్రచురించినవి. ఇది MLX Buildersలో భాగం.
మీ Macను జోడించండి
ఏ Apple Silicon Mac Terminalలోనైనా రెండు ఆదేశాలు. మీ మెమరీలో సరిపోయే మోడల్‌ను ఎంచుకుని, mlx-lmతో కొలిచి, సంఖ్యలను ఇక్కడ పంచుకుంటుంది.
వేరే మోడల్‌ను పరీక్షించడానికి --model mlx-community/…, పొడవైన ప్రాంప్ట్‌లకు --context 8192 లేదా 65536, రన్‌ను మీ వాలెట్‌కు లెక్కించడానికి --wallet you.mlx, లేదా లోకల్‌గా ఉంచడానికి --dry-run జోడించండి. Mac Studio క్లస్టర్లు దీన్ని mlx.launch --backend jacclతో రన్ చేస్తాయి. స్క్రిప్ట్ చిన్నది, ముందు చదవండి: bench.py.
జనరేషన్ వేగం
| Mac | జనరేషన్ | రన్‌లు |
|---|---|---|
| M1 Pro16-కోర్ GPU · 16 GB | 35.7 tok/s | 13 రోజుల క్రితం |
కమ్యూనిటీ రన్‌ల మధ్యస్థ విలువలు, ఇప్పటివరకు 5, 8,192 టోకెన్ల ప్రాంప్ట్‌లు మరియు 128 కొత్త టోకెన్లతో. క్లస్టర్లు Thunderbolt 5తో కలిపిన 2 నుండి 4 Macలు, mlx.launchతో రన్ అవుతాయి; పొడవైన కాంటెక్స్ట్ రన్‌లు Apple పద్ధతిని అనుసరిస్తాయి. MLX Node రన్ చేసే Macలు మళ్లీ రన్ చేసే వరకు ఫలితాలు స్వయంగా నివేదించినవి. ఓపెన్ డేటా: /api/bench.