MLX Bench
Wie schnell führt jeder Mac jedes Modell aus? Tokens pro Sekunde und Spitzenspeicher für offene Modelle auf Apples MLX-Framework, gemessen auf echten Macs und für alle veröffentlicht. Teil von MLX Builders.
Füge deinen Mac hinzu
Zwei Befehle im Terminal auf jedem Apple-Silicon-Mac. Es wählt ein Modell, das in deinen Speicher passt, misst es mit mlx-lm und teilt die Zahlen hier.
Füge --model mlx-community/… hinzu, um ein anderes Modell zu testen, --context 8192 oder 65536 für lange Prompts, --wallet you.mlx, um den Lauf deiner Wallet gutzuschreiben, oder --dry-run, um ihn lokal zu halten. Pods aus Mac Studios führen es mit mlx.launch --backend jaccl aus. Das Skript ist kurz, lies es also zuerst: bench.py.
Generierungsgeschwindigkeit
| Mac | Generierung | Läufe |
|---|---|---|
| M1 Pro16-Kern-GPU · 16 GB | 35,7 tok/s | 1vor 3 Tagen |
Mediane der Community-Läufe, bisher 5, mit Prompts aus 8.192 Tokens und 128 neuen Tokens. Pods sind 2 bis 4 per Thunderbolt 5 verbundene Macs und laufen mit mlx.launch; Läufe mit langem Kontext folgen Apples Methode. Die Läufe sind selbst gemeldet, bis Macs mit MLX Node sie erneut ausführen. Offene Daten: /api/bench.