MLX Bench
Mỗi máy Mac chạy từng mô hình nhanh đến đâu? Token mỗi giây và bộ nhớ đỉnh cho các mô hình mở trên framework MLX của Apple, đo trên máy Mac thật và công bố cho mọi người. Một phần của MLX Builders.
Thêm máy Mac của bạn
Hai lệnh trong Terminal trên bất kỳ máy Mac Apple Silicon nào. Script chọn một mô hình vừa với bộ nhớ của bạn, đo bằng mlx-lm và chia sẻ kết quả tại đây.
Thêm --model mlx-community/… để thử mô hình khác, --context 8192 hoặc 65536 cho prompt dài, --wallet you.mlx để ghi nhận lần chạy cho ví của bạn, hoặc --dry-run để giữ ở máy. Cụm Mac Studio chạy bằng mlx.launch --backend jaccl. Script ngắn, nên hãy đọc trước: bench.py.
Tốc độ tạo
| Mac | Tạo | Lần chạy |
|---|---|---|
| M1 ProGPU 16 nhân · 16 GB | 35,7 tok/s | 13 ngày trước |
Trung vị các lần chạy của cộng đồng, đến nay là 5, với prompt 8.192 token và 128 token mới. Cụm gồm 2 đến 4 máy Mac nối bằng Thunderbolt 5 và chạy bằng mlx.launch; các lần chạy ngữ cảnh dài theo phương pháp của Apple. Kết quả do người chạy tự báo cho đến khi các máy Mac chạy MLX Node chạy lại. Dữ liệu mở: /api/bench.