পাশাপাশি
জনপ্রিয় মডেলে গতি
একটি কথোপকথনের জন্য সেকেন্ডে টোকেন, প্রতিটি চিপ তার সবচেয়ে বড় মেমরি সাইজে (128 GB ও 192 GB), মডেলের যে সেরা ভার্সন ধরে তা দিয়ে।
| মডেল | M1 Ultra | M2 Ultra |
|---|---|---|
| Llama 3.1 8B Instruct8B | 42–75 8-bit | 42–75 8-bit |
| gpt-oss-20b21B · 3.6B সক্রিয় | 189–337 নেটিভ 4.25-bit | 189–337 নেটিভ 4.25-bit |
| Qwen3.6 35B A3B35B · 3B সক্রিয় | 113–200 8-bit | 113–200 8-bit |
| Qwen3.8 27B27B | 13–22 8-bit | 13–22 8-bit |
| Llama 3.3 70B Instruct70B | 5–9 8-bit | 5–9 8-bit |
| gpt-oss-120b117B · 5.1B সক্রিয় | 133–237 নেটিভ 4.25-bit | 133–237 নেটিভ 4.25-bit |
| Qwen3.5 122B A10B122B · 10B সক্রিয় | 64–114 4-bit | 34–60 8-bit |
| DeepSeek V4 Flash 0731284B · 13B সক্রিয় | 88–156 2-bit কম মান | 63–112 3-bit কম মান |
প্রশ্ন
- LLM-এর জন্য M2 Ultra কি M1 Ultra-এর চেয়ে দ্রুত?
- প্রায় একই: দুটোর মেমরি ব্যান্ডউইথে মাত্র কয়েক শতাংশের পার্থক্য। M2 Ultra-এ মেমরি 192 GB পর্যন্ত, M1 Ultra-এ 128 GB পর্যন্ত।
- বড় মডেল কোনটি চালাতে পারে, M1 Ultra না M2 Ultra?
- M2 Ultra: M2 Ultra-এ মেমরি 192 GB পর্যন্ত, M1 Ultra-এ 128 GB পর্যন্ত। সবচেয়ে বড় সাইজে এটি 73টি ওপেন মডেলের মধ্যে 49টি ভালোভাবে চালায়, অন্যটি 47টি।
আরও তুলনা
লোকাল AI-এর জন্য M1 Ultra · লোকাল AI-এর জন্য M2 Ultra · সব মডেল তুলনা করুন · লোকাল LLM-এর জন্য সেরা Mac
হিসাব কীভাবে করা হয়েছে
মেমরি: মডেলের প্যারামিটার প্রতি ওয়েটে 8, 6, 4, 3 বা 2 bit-এ, সঙ্গে MLX-এর গ্রুপ স্কেল (প্রতি ওয়েটে আধা bit), অথবা তার নেটিভ ফরম্যাট, আর তার ওপর কনটেক্সটের জায়গা। ডিফল্টভাবে macOS GPU-কে ইউনিফায়েড মেমরির প্রায় 75% ব্যবহার করতে দেয়। গতি: মেমরি ব্যান্ডউইথকে প্রতি টোকেনে পড়া বাইট দিয়ে ভাগ করলে একটি কথোপকথনের সর্বোচ্চ সীমা পাওয়া যায়; llama.cpp-এর পাবলিক Apple Silicon বেঞ্চমার্কে আসল রান এর প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায়, আর সেই রেঞ্জটাই দেখানো হয়েছে। এগুলো অনুমান, মাপা ফল নয়: MLX Bench-এ আপনার নিজের Mac মাপুন। মডেলের তথ্য প্রতিটি অফিশিয়াল মডেল কার্ড থেকে, চিপের তথ্য Apple-এর Tech Specs থেকে। যাচাই করা হয়েছে 2026-10-19। mlx.app/compare-এর একই ডেটা।