MLX Bench
Seberapa cepat setiap Mac menjalankan setiap model? Token per detik dan memori puncak untuk model terbuka di framework MLX milik Apple, diukur di Mac sungguhan dan dipublikasikan untuk semua orang. Bagian dari MLX Builders.
Tambahkan Mac Anda
Dua perintah di Terminal pada Mac Apple Silicon mana pun. Skrip memilih model yang muat di memori Anda, mengukurnya dengan mlx-lm, dan membagikan hasilnya di sini.
Tambahkan --model mlx-community/… untuk menguji model lain, --context 8192 atau 65536 untuk prompt panjang, --wallet you.mlx agar eksekusi tercatat untuk dompet Anda, atau --dry-run agar tetap lokal. Klaster Mac Studio menjalankannya dengan mlx.launch --backend jaccl. Skripnya pendek, jadi baca dulu: bench.py.
Kecepatan menghasilkan
| Mac | Menghasilkan | Eksekusi |
|---|---|---|
| M1 ProGPU 16 inti · 16 GB | 35,7 tok/s | 13 h lalu |
Median dari eksekusi komunitas, sejauh ini 5, dengan prompt 8.192 token dan 128 token baru. Klaster berisi 2 hingga 4 Mac yang dihubungkan Thunderbolt 5 dan dijalankan dengan mlx.launch; eksekusi konteks panjang mengikuti metode Apple. Hasil dilaporkan sendiri sampai Mac yang menjalankan MLX Node menjalankannya ulang. Data terbuka: /api/bench.