MLX Builders · 오픈 데이터

MLX Bench

Name: MLX Bench: MLX inference speed on Apple Silicon
Creator: MLX

어떤 Mac이 어떤 모델을 얼마나 빠르게 돌릴까요? Apple의 MLX 프레임워크에서 오픈 모델의 초당 토큰과 최대 메모리를 실제 Mac에서 측정해 모두에게 공개합니다. MLX Builders의 일부입니다.

내 Mac 추가하기

Apple Silicon Mac이라면 어떤 것이든 터미널에서 명령 두 줄이면 됩니다. 메모리에 맞는 모델을 고르고, mlx-lm으로 측정해, 결과를 여기에 공유합니다.

다른 모델을 시험하려면 --model mlx-community/…, 긴 프롬프트에는 --context 8192 또는 65536, 실행을 지갑 실적으로 남기려면 --wallet you.mlx, 로컬에만 두려면 --dry-run를 붙이세요. Mac Studio 포드는 mlx.launch --backend jaccl로 실행합니다. 스크립트는 짧으니 먼저 읽어 보세요: bench.py.

생성 속도

Mac	생성	첫 토큰	프롬프트	최대 메모리	실행
M1 Pro16코어 GPU · 16 GB	35.7 tok/s	29.91 s	274 tok/s	6.2 GB	13일 전

커뮤니티 실행의 중앙값으로, 지금까지 5회이며 프롬프트 8,192토큰, 새 토큰 128개 기준입니다. 포드는 Thunderbolt 5로 연결한 Mac 2~4대이며 mlx.launch로 실행합니다. 긴 컨텍스트 실행은 Apple의 방법을 따릅니다. MLX Node를 실행하는 Mac이 다시 돌려 보기 전까지 결과는 자가 보고입니다. 오픈 데이터: /api/bench.