MLX Bench
¿A qué velocidad ejecuta cada Mac cada modelo? Tokens por segundo y memoria máxima de modelos abiertos en el framework MLX de Apple, medidos en Macs reales y publicados para todos. Forma parte de MLX Builders.
Añade tu Mac
Dos comandos en la Terminal de cualquier Mac con Apple Silicon. Elige un modelo que quepa en tu memoria, lo mide con mlx-lm y comparte los resultados aquí.
Añade --model mlx-community/… para probar otro modelo, --context 8192 o 65536 para prompts largos, --wallet you.mlx para que la ejecución cuente para tu billetera, o --dry-run para que quede en local. Los pods de Mac Studio lo ejecutan con mlx.launch --backend jaccl. El script es corto, así que léelo primero: bench.py.
Velocidad de generación
| Mac | Generación | Ejecuciones |
|---|---|---|
| M1 ProGPU de 16 núcleos · 16 GB | 35,7 tok/s | 1hace 3 d |
Medianas de las ejecuciones de la comunidad, 5 hasta ahora, con prompts de 8192 tokens y 128 tokens nuevos. Los pods son de 2 a 4 Macs unidos por Thunderbolt 5 y se ejecutan con mlx.launch; las ejecuciones de contexto largo siguen el método de Apple. Los resultados son autodeclarados hasta que los Macs con MLX Node los vuelvan a ejecutar. Datos abiertos: /api/bench.