MLX Bench
Hoe snel draait elke Mac elk model? Tokens per seconde en piekgeheugen voor open modellen op Apples MLX-framework, gemeten op echte Macs en voor iedereen gepubliceerd. Onderdeel van MLX Builders.
Voeg je Mac toe
Twee opdrachten in Terminal op elke Mac met Apple Silicon. Het kiest een model dat in je geheugen past, meet het met mlx-lm en deelt de cijfers hier.
Voeg --model mlx-community/… toe om een ander model te testen, --context 8192 of 65536 voor lange prompts, --wallet you.mlx om de run op je wallet te laten tellen, of --dry-run om alles lokaal te houden. Pods van Mac Studios draaien het met mlx.launch --backend jaccl. Het script is kort, lees het dus eerst: bench.py.
Generatiesnelheid
| Mac | Genereren | Runs |
|---|---|---|
| M1 Pro16-core GPU · 16 GB | 35,7 tok/s | 13 dgn geleden |
Medianen van communityruns, tot nu toe 5, met prompts van 8.192 tokens en 128 nieuwe tokens. Pods zijn 2 tot 4 Macs verbonden via Thunderbolt 5 en draaien met mlx.launch; runs met lange context volgen Apples methode. Runs zijn zelf gerapporteerd totdat Macs met MLX Node ze opnieuw draaien. Open data: /api/bench.