MLX Builders · dados abertos

MLX Bench

Name: MLX Bench: MLX inference speed on Apple Silicon
Creator: MLX

Com que velocidade cada Mac roda cada modelo? Tokens por segundo e memória de pico para modelos abertos no framework MLX da Apple, medidos em Macs reais e publicados para todos. Parte do MLX Builders.

Adicione seu Mac

Dois comandos no Terminal de qualquer Mac com Apple Silicon. Ele escolhe um modelo que cabe na sua memória, mede com o mlx-lm e compartilha os números aqui.

Adicione --model mlx-community/… para testar outro modelo, --context 8192 ou 65536 para prompts longos, --wallet you.mlx para creditar a execução, ou --dry-run para manter tudo local. Pods de Mac Studio rodam com mlx.launch --backend jaccl. O script é curto, então leia antes: bench.py.

Velocidade de geração

Mac	Geração	Primeiro token	Prompt	Memória de pico	Execuções
M1 ProGPU de 16 núcleos · 16 GB	35,7 tok/s	29,91 s	274 tok/s	6,2 GB	1há 3 dias

Medianas das execuções da comunidade, 5 até agora, com prompts de 8.192 tokens e 128 tokens novos. Pods são de 2 a 4 Macs ligados por Thunderbolt 5 e rodam com mlx.launch; execuções de contexto longo seguem o método da Apple. Os resultados são autodeclarados até que Macs com o MLX Node os rodem de novo. Dados abertos: /api/bench.