MLX Bench
هر Mac هر مدل را با چه سرعتی اجرا می‌کند؟ توکن در ثانیه و اوج حافظه برای مدل‌های باز روی چارچوب MLX اپل، اندازه‌گیری‌شده روی Macهای واقعی و منتشرشده برای همه. بخشی از MLX Builders.
Mac خود را اضافه کنید
دو فرمان در Terminal روی هر Mac با Apple Silicon. مدلی را که در حافظهٔ شما جا می‌شود انتخاب می‌کند، با mlx-lm می‌سنجد و اعداد را اینجا به اشتراک می‌گذارد.
برای آزمودن مدلی دیگر --model mlx-community/…، برای پرامپت‌های طولانی --context 8192 یا 65536، برای ثبت اجرا به نام کیف پولتان --wallet you.mlx، یا برای محلی ماندن --dry-run را اضافه کنید. خوشه‌های Mac Studio آن را با mlx.launch --backend jaccl اجرا می‌کنند. اسکریپت کوتاه است، پس اول بخوانیدش: bench.py.
سرعت تولید
| Mac | تولید | اجراها |
|---|---|---|
| M1 ProGPU با 16 هسته · 16 GB | 35.7 tok/s | 13 روز پیش |
میانهٔ اجراهای جامعه، تاکنون 5 اجرا، با پرامپت‌های 8,192 توکنی و 128 توکن جدید. خوشه‌ها 2 تا 4 Mac متصل با Thunderbolt 5 هستند و با mlx.launch اجرا می‌شوند؛ اجراهای با زمینهٔ طولانی از روش Apple پیروی می‌کنند. نتایج خوداظهاری‌اند تا وقتی Macهای دارای MLX Node دوباره اجرایشان کنند. داده‌های باز: /api/bench.