MLX Builders · 開放資料

MLX Bench

Name: MLX Bench: MLX inference speed on Apple Silicon
Creator: MLX

每臺 Mac 執行每個模型有多快？在 Apple 的 MLX 框架上，開放模型的每秒 token 數和峰值記憶體，在真實的 Mac 上測量，向所有人公開。屬於 MLX Builders。

新增你的 Mac

在任何 Apple Silicon Mac 的終端裡執行兩條命令。它會選擇一個適合你記憶體的模型，用 mlx-lm 測量，並把結果分享到這裡。

加上 --model mlx-community/… 測試其他模型，加上 --context 8192 或 65536 測試長提示詞，加上 --wallet you.mlx 把這次執行記到你的錢包，或加上 --dry-run 只在本地執行。Mac Studio 叢集用 mlx.launch --backend jaccl 執行。腳本很短，請先讀一讀：bench.py。

生成速度

Mac	生成	首個 token	提示詞	峰值記憶體	執行次數
M1 Pro16 核 GPU · 16 GB	35.7 tok/s	29.91 s	274 tok/s	6.2 GB	13 天前

社群執行結果的中位數，目前共 5 次，提示詞 8,192 個 token，新生成 128 個 token。叢集由 2 到 4 臺透過 Thunderbolt 5 連線的 Mac 組成，用 mlx.launch 執行；長上下文執行遵循 Apple 的方法。在執行 MLX Node 的 Mac 重新執行之前，結果均為自行回報。開放資料：/api/bench。