MLX Bench
Quanto è veloce ogni Mac con ogni modello? Token al secondo e memoria di picco per modelli aperti sul framework MLX di Apple, misurati su Mac reali e pubblicati per tutti. Fa parte di MLX Builders.
Aggiungi il tuo Mac
Due comandi nel Terminale di qualsiasi Mac con Apple Silicon. Sceglie un modello che entra nella tua memoria, lo misura con mlx-lm e condivide i numeri qui.
Aggiungi --model mlx-community/… per provare un altro modello, --context 8192 o 65536 per prompt lunghi, --wallet you.mlx per accreditare l’esecuzione, oppure --dry-run per tenerla in locale. I pod di Mac Studio lo eseguono con mlx.launch --backend jaccl. Lo script è breve, quindi leggilo prima: bench.py.
Velocità di generazione
| Mac | Generazione | Esecuzioni |
|---|---|---|
| M1 ProGPU a 16 core · 16 GB | 35,7 tok/s | 13 gg fa |
Mediane delle esecuzioni della community, 5 finora, con prompt da 8192 token e 128 token nuovi. I pod sono da 2 a 4 Mac collegati in Thunderbolt 5 ed eseguiti con mlx.launch; le esecuzioni a contesto lungo seguono il metodo di Apple. I risultati sono autodichiarati finché i Mac con MLX Node non li rieseguono. Dati aperti: /api/bench.