পাশাপাশি
জনপ্রিয় মডেলে গতি
একটি কথোপকথনের জন্য সেকেন্ডে টোকেন, প্রতিটি চিপ তার সবচেয়ে বড় মেমরি সাইজে (64 GB ও 128 GB), মডেলের যে সেরা ভার্সন ধরে তা দিয়ে।
| মডেল | M1 Max | M1 Ultra |
|---|---|---|
| Llama 3.1 8B Instruct8B | 21–38 8-bit | 42–75 8-bit |
| gpt-oss-20b21B · 3.6B সক্রিয় | 95–168 নেটিভ 4.25-bit | 189–337 নেটিভ 4.25-bit |
| Qwen3.6 35B A3B35B · 3B সক্রিয় | 56–100 8-bit | 113–200 8-bit |
| Qwen3.8 27B27B | 12–21 4-bit | 13–22 8-bit |
| Llama 3.3 70B Instruct70B | 5–8 4-bit | 5–9 8-bit |
| gpt-oss-120b117B · 5.1B সক্রিয় | 113–200 2-bit কম মান | 133–237 নেটিভ 4.25-bit |
| Qwen3.5 122B A10B122B · 10B সক্রিয় | 58–103 2-bit কম মান | 64–114 4-bit |
| DeepSeek V4 Flash 0731284B · 13B সক্রিয় | খুব বড় | 88–156 2-bit কম মান |
প্রশ্ন
- LLM-এর জন্য M1 Ultra কি M1 Max-এর চেয়ে দ্রুত?
- M1 Ultra মেমরি পড়ে M1 Max-এর চেয়ে প্রায় 100% দ্রুত (800 বনাম 400 GB/s), তাই দুটোতেই ধরে এমন যেকোনো মডেলে এটি প্রায় 100% দ্রুত লেখে। লম্বা প্রম্পট পড়া অবশ্য GPU কম্পিউটের ওপর নির্ভর করে, যা এই তুলনায় ধরা হয়নি।
- বড় মডেল কোনটি চালাতে পারে, M1 Max না M1 Ultra?
- M1 Ultra: M1 Ultra-এ মেমরি 128 GB পর্যন্ত, M1 Max-এ 64 GB পর্যন্ত। সবচেয়ে বড় সাইজে এটি 73টি ওপেন মডেলের মধ্যে 47টি ভালোভাবে চালায়, অন্যটি 39টি।
আরও তুলনা
লোকাল AI-এর জন্য M1 Max · লোকাল AI-এর জন্য M1 Ultra · সব মডেল তুলনা করুন · লোকাল LLM-এর জন্য সেরা Mac
হিসাব কীভাবে করা হয়েছে
মেমরি: মডেলের প্যারামিটার প্রতি ওয়েটে 8, 6, 4, 3 বা 2 bit-এ, সঙ্গে MLX-এর গ্রুপ স্কেল (প্রতি ওয়েটে আধা bit), অথবা তার নেটিভ ফরম্যাট, আর তার ওপর কনটেক্সটের জায়গা। ডিফল্টভাবে macOS GPU-কে ইউনিফায়েড মেমরির প্রায় 75% ব্যবহার করতে দেয়। গতি: মেমরি ব্যান্ডউইথকে প্রতি টোকেনে পড়া বাইট দিয়ে ভাগ করলে একটি কথোপকথনের সর্বোচ্চ সীমা পাওয়া যায়; llama.cpp-এর পাবলিক Apple Silicon বেঞ্চমার্কে আসল রান এর প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায়, আর সেই রেঞ্জটাই দেখানো হয়েছে। এগুলো অনুমান, মাপা ফল নয়: MLX Bench-এ আপনার নিজের Mac মাপুন। মডেলের তথ্য প্রতিটি অফিশিয়াল মডেল কার্ড থেকে, চিপের তথ্য Apple-এর Tech Specs থেকে। যাচাই করা হয়েছে 2026-10-19। mlx.app/compare-এর একই ডেটা।