MLX Builders · 开放数据

MLX Bench

Name: MLX Bench: MLX inference speed on Apple Silicon
Creator: MLX

每台 Mac 运行每个模型有多快？在 Apple 的 MLX 框架上，开放模型的每秒 token 数和峰值内存，在真实的 Mac 上测量，向所有人公开。属于 MLX Builders。

添加你的 Mac

在任何 Apple Silicon Mac 的终端里运行两条命令。它会选择一个适合你内存的模型，用 mlx-lm 测量，并把结果分享到这里。

加上 --model mlx-community/… 测试其他模型，加上 --context 8192 或 65536 测试长提示词，加上 --wallet you.mlx 把这次运行记到你的钱包，或加上 --dry-run 只在本地运行。Mac Studio 集群用 mlx.launch --backend jaccl 运行。脚本很短，请先读一读：bench.py。

生成速度

Mac	生成	首个 token	提示词	峰值内存	运行次数
M1 Pro16 核 GPU · 16 GB	35.7 tok/s	29.91 s	274 tok/s	6.2 GB	13天前

社区运行结果的中位数，目前共 5 次，提示词 8,192 个 token，新生成 128 个 token。集群由 2 到 4 台通过 Thunderbolt 5 连接的 Mac 组成，用 mlx.launch 运行；长上下文运行遵循 Apple 的方法。在运行 MLX Node 的 Mac 重新运行之前，结果均为自行上报。开放数据：/api/bench。