মেমরি সাইজ অনুযায়ী
| মেমরি | ভালো চলে | ভালো চলে এমন সবচেয়ে বড় | gpt-oss-20b |
|---|---|---|---|
| 64 GB800 GB/s | 39 | Nemotron 3.5 Bolt 74B A9B | 189–337 tok/s |
| 128 GB800 GB/s | 47 | Qwen3.5 122B A10B | 189–337 tok/s |
| 192 GB800 GB/s | 49 | MiniMax M2.7 | 189–337 tok/s |
Mac মডেল: Mac Pro (2023), Mac Pro (Rack, 2023)। সব Mac মডেলে সব মেমরি সাইজ পাওয়া যায় না; কোনটির সঙ্গে কী আসে, তা Apple-এর Tech Specs-এ দেওয়া আছে।
প্রশ্ন
- লোকাল LLM-এর জন্য M2 Ultra চিপসহ Mac Pro কি ভালো?
- 192 GB-তে এটি 73টি ওপেন মডেলের মধ্যে 49টি ভালোভাবে চালায়, MiniMax M2.7 পর্যন্ত, আর gpt-oss-20b দিয়ে সেকেন্ডে প্রায় 189–337 টোকেন লেখে। M2 Ultra চিপ 800 GB/s গতিতে মেমরি পড়ে, যা ঠিক করে এটি কত দ্রুত লেখে।
- AI-এর জন্য M2 Ultra চিপসহ Mac Pro কেনার সময় কত মেমরি নেওয়া উচিত?
- 64 GB-তে এটি 39টি ওপেন মডেল ভালোভাবে চালায়; 192 GB-তে 49টি, MiniMax M2.7 পর্যন্ত। কোন মডেল ধরবে তা ঠিক করে মেমরি, আর পরে তা আপগ্রেড করা যায় না।
অন্য Mac
M2 Ultra চিপসহ অন্য Mac:
মুখোমুখি:
লোকাল AI-এর জন্য M2 Ultra · লোকাল LLM-এর জন্য সেরা Mac · সব Mac
হিসাব কীভাবে করা হয়েছে
মেমরি: মডেলের প্যারামিটার প্রতি ওয়েটে 8, 6, 4, 3 বা 2 bit-এ, সঙ্গে MLX-এর গ্রুপ স্কেল (প্রতি ওয়েটে আধা bit), অথবা তার নেটিভ ফরম্যাট, আর তার ওপর কনটেক্সটের জায়গা। ডিফল্টভাবে macOS GPU-কে ইউনিফায়েড মেমরির প্রায় 75% ব্যবহার করতে দেয়। গতি: মেমরি ব্যান্ডউইথকে প্রতি টোকেনে পড়া বাইট দিয়ে ভাগ করলে একটি কথোপকথনের সর্বোচ্চ সীমা পাওয়া যায়; llama.cpp-এর পাবলিক Apple Silicon বেঞ্চমার্কে আসল রান এর প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায়, আর সেই রেঞ্জটাই দেখানো হয়েছে। এগুলো অনুমান, মাপা ফল নয়: MLX Bench-এ আপনার নিজের Mac মাপুন। মডেলের তথ্য প্রতিটি অফিশিয়াল মডেল কার্ড থেকে, চিপের তথ্য Apple-এর Tech Specs থেকে। যাচাই করা হয়েছে 2026-10-19। mlx.app/compare-এর একই ডেটা।