MLX Bench
Mac แต่ละเครื่องรันแต่ละโมเดลได้เร็วแค่ไหน? โทเค็นต่อวินาทีและหน่วยความจำสูงสุดของโมเดลแบบเปิดบนเฟรมเวิร์ก MLX ของ Apple วัดบน Mac จริงและเผยแพร่ให้ทุกคน เป็นส่วนหนึ่งของ MLX Builders
เพิ่ม Mac ของคุณ
แค่สองคำสั่งใน Terminal บน Mac ที่ใช้ Apple Silicon เครื่องใดก็ได้ สคริปต์จะเลือกโมเดลที่ใส่ในหน่วยความจำได้ วัดด้วย mlx-lm แล้วแชร์ผลที่นี่
เติม --model mlx-community/… เพื่อทดสอบโมเดลอื่น --context 8192 หรือ 65536 สำหรับพรอมต์ยาว --wallet you.mlx เพื่อบันทึกการรันให้กระเป๋าของคุณ หรือ --dry-run เพื่อเก็บไว้ในเครื่อง คลัสเตอร์ Mac Studio รันด้วย mlx.launch --backend jaccl สคริปต์สั้น อ่านก่อนได้เลย: bench.py
ความเร็วในการสร้าง
| Mac | การสร้าง | จำนวนรัน |
|---|---|---|
| M1 ProGPU 16 คอร์ · 16 GB | 35.7 tok/s | 13 วันที่แล้ว |
ค่ามัธยฐานจากการรันของชุมชน ถึงตอนนี้ 5 ครั้ง ด้วยพรอมต์ 8,192 โทเค็นและโทเค็นใหม่ 128 ตัว คลัสเตอร์คือ Mac 2 ถึง 4 เครื่องที่เชื่อมด้วย Thunderbolt 5 และรันด้วย mlx.launch การรันคอนเท็กซ์ยาวใช้วิธีของ Apple ผลเป็นแบบรายงานเองจนกว่า Mac ที่รัน MLX Node จะรันซ้ำ ข้อมูลเปิด: /api/bench