MLX Bench
Sepantas mana setiap Mac menjalankan setiap model? Token sesaat dan memori puncak untuk model terbuka pada rangka kerja MLX Apple, diukur pada Mac sebenar dan diterbitkan untuk semua. Sebahagian daripada MLX Builders.
Tambah Mac anda
Dua arahan dalam Terminal pada mana-mana Mac Apple Silicon. Ia memilih model yang muat dalam memori anda, mengukurnya dengan mlx-lm dan berkongsi hasilnya di sini.
Tambah --model mlx-community/… untuk menguji model lain, --context 8192 atau 65536 untuk prompt panjang, --wallet you.mlx untuk mengkreditkan larian kepada dompet anda, atau --dry-run untuk mengekalkannya setempat. Kluster Mac Studio menjalankannya dengan mlx.launch --backend jaccl. Skripnya pendek, jadi baca dahulu: bench.py.
Kelajuan menjana
| Mac | Menjana | Larian |
|---|---|---|
| M1 ProGPU 16 teras · 16 GB | 35.7 tok/s | 13 hari lalu |
Median larian komuniti, setakat ini 5, dengan prompt 8,192 token dan 128 token baharu. Kluster ialah 2 hingga 4 Mac yang disambungkan dengan Thunderbolt 5 dan dijalankan dengan mlx.launch; larian konteks panjang mengikut kaedah Apple. Keputusan dilaporkan sendiri sehingga Mac yang menjalankan MLX Node menjalankannya semula. Data terbuka: /api/bench.