পাশাপাশি
জনপ্রিয় মডেলে গতি
একটি কথোপকথনের জন্য সেকেন্ডে টোকেন, প্রতিটি চিপ তার সবচেয়ে বড় মেমরি সাইজে (512 GB ও 512 GB), মডেলের যে সেরা ভার্সন ধরে তা দিয়ে।
| মডেল | M3 Ultra | M5 Ultra |
|---|---|---|
| Llama 3.1 8B Instruct8B | 43–77 8-bit | 64–113 8-bit |
| gpt-oss-20b21B · 3.6B সক্রিয় | 194–345 নেটিভ 4.25-bit | 284–505 নেটিভ 4.25-bit |
| Qwen3.6 35B A3B35B · 3B সক্রিয় | 115–205 8-bit | 169–300 8-bit |
| Qwen3.8 27B27B | 13–23 8-bit | 19–33 8-bit |
| Llama 3.3 70B Instruct70B | 5–9 8-bit | 14–24 4-bit |
| gpt-oss-120b117B · 5.1B সক্রিয় | 137–243 নেটিভ 4.25-bit | 200–356 নেটিভ 4.25-bit |
| Qwen3.5 122B A10B122B · 10B সক্রিয় | 35–62 8-bit | 51–91 8-bit |
| DeepSeek V4 Flash 0731284B · 13B সক্রিয় | 27–47 8-bit | 39–70 8-bit |
প্রশ্ন
- LLM-এর জন্য M5 Ultra কি M3 Ultra-এর চেয়ে দ্রুত?
- M5 Ultra মেমরি পড়ে M3 Ultra-এর চেয়ে প্রায় 47% দ্রুত (1,200 বনাম 819 GB/s), তাই দুটোতেই ধরে এমন যেকোনো মডেলে এটি প্রায় 47% দ্রুত লেখে। লম্বা প্রম্পট পড়া অবশ্য GPU কম্পিউটের ওপর নির্ভর করে, যা এই তুলনায় ধরা হয়নি।
- বড় মডেল কোনটি চালাতে পারে, M3 Ultra না M5 Ultra?
- কোনোটিই এগিয়ে নেই: দুটোতেই মেমরি 512 GB পর্যন্ত। সেই সাইজে 73টি ওপেন মডেলের মধ্যে M3 Ultra-এ 60টি আর M5 Ultra-এ 61টি ভালো চলে; দ্রুততর চিপ তার মধ্যে বেশি মডেলকে সেকেন্ডে 10 টোকেনের ওপরে নিয়ে যায়।
আরও তুলনা
- M2 Ultra vs M3 Ultra
- M3 Max vs M3 Ultra
- M3 Ultra vs M4 Max
- M3 Ultra vs M5 Max
- M4 Max vs M5 Ultra
- M5 Max vs M5 Ultra
লোকাল AI-এর জন্য M3 Ultra · লোকাল AI-এর জন্য M5 Ultra · সব মডেল তুলনা করুন · লোকাল LLM-এর জন্য সেরা Mac
হিসাব কীভাবে করা হয়েছে
মেমরি: মডেলের প্যারামিটার প্রতি ওয়েটে 8, 6, 4, 3 বা 2 bit-এ, সঙ্গে MLX-এর গ্রুপ স্কেল (প্রতি ওয়েটে আধা bit), অথবা তার নেটিভ ফরম্যাট, আর তার ওপর কনটেক্সটের জায়গা। ডিফল্টভাবে macOS GPU-কে ইউনিফায়েড মেমরির প্রায় 75% ব্যবহার করতে দেয়। গতি: মেমরি ব্যান্ডউইথকে প্রতি টোকেনে পড়া বাইট দিয়ে ভাগ করলে একটি কথোপকথনের সর্বোচ্চ সীমা পাওয়া যায়; llama.cpp-এর পাবলিক Apple Silicon বেঞ্চমার্কে আসল রান এর প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায়, আর সেই রেঞ্জটাই দেখানো হয়েছে। এগুলো অনুমান, মাপা ফল নয়: MLX Bench-এ আপনার নিজের Mac মাপুন। মডেলের তথ্য প্রতিটি অফিশিয়াল মডেল কার্ড থেকে, চিপের তথ্য Apple-এর Tech Specs থেকে। যাচাই করা হয়েছে 2026-10-19। mlx.app/compare-এর একই ডেটা।