MLX Bench
Jak szybko każdy Mac uruchamia każdy model? Tokeny na sekundę i szczytowa pamięć dla otwartych modeli na frameworku MLX od Apple, zmierzone na prawdziwych Macach i opublikowane dla wszystkich. Część MLX Builders.
Dodaj swojego Maca
Dwa polecenia w Terminalu na dowolnym Macu z Apple Silicon. Skrypt wybiera model, który mieści się w Twojej pamięci, mierzy go za pomocą mlx-lm i udostępnia wyniki tutaj.
Dodaj --model mlx-community/…, aby przetestować inny model, --context 8192 lub 65536 dla długich promptów, --wallet you.mlx, aby zaliczyć uruchomienie Twojemu portfelowi, albo --dry-run, aby zostało lokalnie. Klastry Mac Studio uruchamiają go przez mlx.launch --backend jaccl. Skrypt jest krótki, więc najpierw go przeczytaj: bench.py.
Szybkość generowania
| Mac | Generowanie | Uruchomienia |
|---|---|---|
| M1 ProGPU 16-rdzeniowe · 16 GB | 35,7 tok/s | 13 dni temu |
Mediany uruchomień społeczności, dotąd 5, z promptami po 8192 tokenów i 128 nowymi tokenami. Klastry to 2–4 Maki połączone przez Thunderbolt 5 i uruchamiane przez mlx.launch; uruchomienia z długim kontekstem stosują metodę Apple. Wyniki są zgłaszane samodzielnie, dopóki Maki z MLX Node ich nie powtórzą. Otwarte dane: /api/bench.