MLX Bench
ஒவ்வொரு Mac-உம் ஒவ்வொரு மாதிரியையும் எவ்வளவு வேகமாக இயக்குகிறது? Apple-இன் MLX கட்டமைப்பில் திறந்த மாதிரிகளுக்கான வினாடிக்கு டோக்கன்களும் உச்ச நினைவகமும், உண்மையான Mac-களில் அளக்கப்பட்டு அனைவருக்கும் வெளியிடப்படுகின்றன. இது MLX Builders-இன் ஒரு பகுதி.
உங்கள் Mac-ஐச் சேருங்கள்
எந்த Apple Silicon Mac-இன் Terminal-இலும் இரண்டு கட்டளைகள். உங்கள் நினைவகத்தில் பொருந்தும் மாதிரியைத் தேர்ந்தெடுத்து, mlx-lm மூலம் அளந்து, எண்களை இங்கே பகிரும்.
வேறு மாதிரியைச் சோதிக்க --model mlx-community/…, நீண்ட ப்ராம்ப்டுகளுக்கு --context 8192 அல்லது 65536, இயக்கத்தை உங்கள் வாலெட்டுக்குக் கணக்கிட --wallet you.mlx, அல்லது உள்ளூரிலேயே வைக்க --dry-run சேருங்கள். Mac Studio குழுக்கள் அதை mlx.launch --backend jaccl மூலம் இயக்குகின்றன. ஸ்கிரிப்ட் சிறியது, முதலில் படியுங்கள்: bench.py.
உருவாக்கல் வேகம்
| Mac | உருவாக்கல் | இயக்கங்கள் |
|---|---|---|
| M1 Pro16-கோர் GPU · 16 GB | 35.7 tok/s | 13 நாட்களுக்கு முன் |
சமூக இயக்கங்களின் இடைநிலை மதிப்புகள், இதுவரை 5, 8,192 டோக்கன் ப்ராம்ப்டுகளுடனும் 128 புதிய டோக்கன்களுடனும். குழுக்கள் Thunderbolt 5 மூலம் இணைக்கப்பட்ட 2 முதல் 4 Mac-கள், mlx.launch மூலம் இயங்குகின்றன; நீண்ட சூழல் இயக்கங்கள் Apple-இன் முறையை பின்பற்றுகின்றன. MLX Node இயக்கும் Mac-கள் மீண்டும் இயக்கும் வரை முடிவுகள் சுயமாக அறிவிக்கப்பட்டவை. திறந்த தரவு: /api/bench.