MLX Bench
Наскільки швидко кожен Mac запускає кожну модель? Токени за секунду й пікова пам’ять для відкритих моделей на фреймворку MLX від Apple, виміряні на справжніх Mac і опубліковані для всіх. Частина MLX Builders.
Додайте свій Mac
Дві команди в Терміналі на будь-якому Mac з Apple Silicon. Скрипт вибирає модель, що вміщається у вашу пам’ять, вимірює її за допомогою mlx-lm і публікує результати тут.
Додайте --model mlx-community/…, щоб перевірити іншу модель, --context 8192 або 65536 для довгих промптів, --wallet you.mlx, щоб зарахувати запуск вашому гаманцю, або --dry-run, щоб залишити все локально. Кластери з Mac Studio запускають його через mlx.launch --backend jaccl. Скрипт короткий, тож спершу прочитайте його: bench.py.
Швидкість генерації
| Mac | Генерація | Запуски |
|---|---|---|
| M1 ProGPU, 16 ядер · 16 GB | 35,7 tok/s | 13 дн. тому |
Медіани запусків спільноти — поки їх 5 — із промптами довжиною 8 192 токенів і 128 новими токенами. Кластери — це 2–4 Mac, з’єднані через Thunderbolt 5, які запускаються з mlx.launch; запуски з довгим контекстом дотримуються методики Apple. Результати вказані самими учасниками, доки Mac із MLX Node не перезапустять їх. Відкриті дані: /api/bench.