MLX Bench
Насколько быстро каждый Mac запускает каждую модель? Токены в секунду и пиковая память для открытых моделей на фреймворке MLX от Apple, измеренные на реальных Mac и опубликованные для всех. Часть MLX Builders.
Добавьте свой Mac
Две команды в Терминале на любом Mac с Apple Silicon. Скрипт выбирает модель, которая помещается в вашу память, измеряет ее с помощью mlx-lm и публикует результаты здесь.
Добавьте --model mlx-community/…, чтобы проверить другую модель, --context 8192 или 65536 для длинных промптов, --wallet you.mlx, чтобы засчитать запуск вашему кошельку, или --dry-run, чтобы оставить все локально. Кластеры из Mac Studio запускают его через mlx.launch --backend jaccl. Скрипт короткий, так что сначала прочитайте его: bench.py.
Скорость генерации
| Mac | Генерация | Запуски |
|---|---|---|
| M1 ProGPU, 16 ядер · 16 GB | 35,7 tok/s | 13 дн. назад |
Медианы запусков сообщества — пока их 5 — с промптами длиной 8 192 токенов и 128 новыми токенами. Кластеры — это 2–4 Mac, соединенные через Thunderbolt 5 и запускаемые с mlx.launch; запуски с длинным контекстом следуют методике Apple. Результаты указаны самими участниками, пока Mac с MLX Node не перезапустят их. Открытые данные: /api/bench.