MLX Bench
Πόσο γρήγορα τρέχει κάθε Mac κάθε μοντέλο; Tokens ανά δευτερόλεπτο και μέγιστη μνήμη για ανοιχτά μοντέλα στο framework MLX της Apple, μετρημένα σε πραγματικούς Mac και δημοσιευμένα για όλους. Μέρος του MLX Builders.
Προσθέστε τον Mac σας
Δύο εντολές στο Terminal σε οποιονδήποτε Mac με Apple Silicon. Επιλέγει ένα μοντέλο που χωράει στη μνήμη σας, το μετρά με το mlx-lm και μοιράζεται τους αριθμούς εδώ.
Προσθέστε --model mlx-community/… για να δοκιμάσετε άλλο μοντέλο, --context 8192 ή 65536 για μεγάλα prompts, --wallet you.mlx για να πιστωθεί η εκτέλεση, ή --dry-run για να μείνει τοπική. Τα pods από Mac Studio το τρέχουν με mlx.launch --backend jaccl. Το script είναι σύντομο, οπότε διαβάστε το πρώτα: bench.py.
Ταχύτητα παραγωγής
| Mac | Παραγωγή | Εκτελέσεις |
|---|---|---|
| M1 ProGPU 16 πυρήνων · 16 GB | 35,7 tok/s | 1πριν από 3 ημ. |
Διάμεσοι εκτελέσεων της κοινότητας, 5 μέχρι στιγμής, με prompts 8.192 tokens και 128 νέα tokens. Τα pods είναι 2 έως 4 Mac συνδεδεμένοι με Thunderbolt 5 και τρέχουν με mlx.launch· οι εκτελέσεις με μεγάλα συμφραζόμενα ακολουθούν τη μέθοδο της Apple. Οι εκτελέσεις είναι αυτοδηλωμένες μέχρι να τις ξανατρέξουν Mac με MLX Node. Ανοιχτά δεδομένα: /api/bench.