MLX Bench
প্রতিটি Mac প্রতিটি মডেল কত দ্রুত চালায়? Apple-এর MLX ফ্রেমওয়ার্কে ওপেন মডেলের প্রতি সেকেন্ডে টোকেন আর সর্বোচ্চ মেমরি, আসল Mac-এ মাপা আর সবার জন্য প্রকাশিত। এটি MLX Builders-এর অংশ।
আপনার Mac যোগ করুন
যেকোনো Apple Silicon Mac-এর Terminal-এ দুটি কমান্ড। এটি আপনার মেমরিতে আঁটে এমন মডেল বেছে নেয়, mlx-lm দিয়ে মাপে আর ফলাফল এখানে শেয়ার করে।
অন্য মডেল পরীক্ষা করতে --model mlx-community/…, লম্বা প্রম্পটের জন্য --context 8192 বা 65536, রানটি আপনার ওয়ালেটে জমা দিতে --wallet you.mlx, বা লোকাল রাখতে --dry-run যোগ করুন। Mac Studio-র ক্লাস্টার এটি চালায় mlx.launch --backend jaccl দিয়ে। স্ক্রিপ্টটি ছোট, তাই আগে পড়ে নিন: bench.py।
জেনারেশনের গতি
| Mac | জেনারেশন | রান |
|---|---|---|
| M1 Pro16-কোর GPU · 16 GB | 35.7 tok/s | 13 দিন আগে |
কমিউনিটির রানের মিডিয়ান, এখন পর্যন্ত 5টি, 8,192 টোকেনের প্রম্পট আর 128টি নতুন টোকেনসহ। ক্লাস্টার মানে Thunderbolt 5-এ যুক্ত 2 থেকে 4টি Mac, যা mlx.launch দিয়ে চলে; লম্বা কনটেক্সটের রান Apple-এর পদ্ধতি মেনে চলে। MLX Node চালানো Mac আবার না চালানো পর্যন্ত রানগুলো নিজে জানানো। ওপেন ডেটা: /api/bench।