MLX Bench
Gaano kabilis pinapatakbo ng bawat Mac ang bawat model? Token bawat segundo at peak memory para sa mga open model sa MLX framework ng Apple, sinukat sa totoong mga Mac at inilathala para sa lahat. Bahagi ng MLX Builders.
Idagdag ang Mac mo
Dalawang command sa Terminal sa kahit anong Apple Silicon Mac. Pumipili ito ng model na kasya sa memory mo, sinusukat ito gamit ang mlx-lm, at ibinabahagi rito ang mga numero.
Idagdag ang --model mlx-community/… para sumubok ng ibang model, --context 8192 o 65536 para sa mahahabang prompt, --wallet you.mlx para ma-credit ang run, o --dry-run para manatili itong lokal. Pinapatakbo ito ng mga pod ng Mac Studio sa ilalim ng mlx.launch --backend jaccl. Maikli ang script, kaya basahin muna: bench.py.
Bilis ng generation
| Mac | Generation | Mga run |
|---|---|---|
| M1 Pro16-core na GPU · 16 GB | 35.7 tok/s | 13 araw ang nakalipas |
Median ng mga run ng komunidad, 5 sa ngayon, na may 8,192-token na prompt at 128 bagong token. Ang mga pod ay 2 hanggang 4 na Mac na pinagdugtong ng Thunderbolt 5 at pinapatakbo gamit ang mlx.launch; sinusunod ng mga long-context run ang paraan ng Apple. Self-reported ang mga run hanggang patakbuhin muli ng mga Mac na may MLX Node. Open data: /api/bench.