MLX Bench
Her Mac her modeli ne hızla çalıştırıyor? Apple’ın MLX çatısındaki açık modeller için saniyedeki token sayısı ve en yüksek bellek, gerçek Mac’lerde ölçülüp herkes için yayımlanır. MLX Builders programının parçasıdır.
Mac’inizi ekleyin
Herhangi bir Apple Silicon Mac’te Terminal’de iki komut. Belleğinize sığan bir model seçer, mlx-lm ile ölçer ve sonuçları burada paylaşır.
Başka bir modeli denemek için --model mlx-community/…, uzun prompt’lar için --context 8192 veya 65536, çalıştırmayı cüzdanınıza yazdırmak için --wallet you.mlx, yerelde tutmak için --dry-run ekleyin. Mac Studio kümeleri onu mlx.launch --backend jaccl ile çalıştırır. Betik kısa, önce okuyun: bench.py.
Üretim hızı
| Mac | Üretim | Çalıştırma |
|---|---|---|
| M1 Pro16 çekirdekli GPU · 16 GB | 35,7 tok/s | 13 gün önce |
Topluluk çalıştırmalarının medyanları; şimdiye kadar 5 çalıştırma, 8.192 token’lık prompt’lar ve 128 yeni token ile. Kümeler Thunderbolt 5 ile bağlanmış 2 ila 4 Mac’tir ve mlx.launch ile çalışır; uzun bağlamlı çalıştırmalar Apple’ın yöntemini izler. MLX Node çalıştıran Mac’ler yeniden çalıştırana kadar sonuçlar beyana dayalıdır. Açık veri: /api/bench.