মেমরি সাইজ অনুযায়ী
| মেমরি | ভালো চলে | ভালো চলে এমন সবচেয়ে বড় | gpt-oss-20b |
|---|---|---|---|
| 24 GB307 GB/s | 28 | Gemma 4 26B A4B | 73–129 tok/s |
| 48 GB307 GB/s | 33 | Qwen3.6 35B A3B | 73–129 tok/s |
| 64 GB307 GB/s | 34 | Nemotron 3.5 Bolt 74B A9B | 73–129 tok/s |
Mac মডেল: Mac mini (M6 or M5 Pro)। সব Mac মডেলে সব মেমরি সাইজ পাওয়া যায় না; কোনটির সঙ্গে কী আসে, তা Apple-এর Tech Specs-এ দেওয়া আছে।
প্রশ্ন
- লোকাল LLM-এর জন্য M5 Pro চিপসহ Mac mini কি ভালো?
- 64 GB-তে এটি 73টি ওপেন মডেলের মধ্যে 34টি ভালোভাবে চালায়, Nemotron 3.5 Bolt 74B A9B পর্যন্ত, আর gpt-oss-20b দিয়ে সেকেন্ডে প্রায় 73–129 টোকেন লেখে। M5 Pro চিপ 307 GB/s গতিতে মেমরি পড়ে, যা ঠিক করে এটি কত দ্রুত লেখে।
- AI-এর জন্য M5 Pro চিপসহ Mac mini কেনার সময় কত মেমরি নেওয়া উচিত?
- 24 GB-তে এটি 28টি ওপেন মডেল ভালোভাবে চালায়; 64 GB-তে 34টি, Nemotron 3.5 Bolt 74B A9B পর্যন্ত। কোন মডেল ধরবে তা ঠিক করে মেমরি, আর পরে তা আপগ্রেড করা যায় না।
অন্য Mac
অন্য চিপসহ Mac mini:
M5 Pro চিপসহ অন্য Mac:
মুখোমুখি:
লোকাল AI-এর জন্য M5 Pro · লোকাল LLM-এর জন্য সেরা Mac · সব Mac
হিসাব কীভাবে করা হয়েছে
মেমরি: মডেলের প্যারামিটার প্রতি ওয়েটে 8, 6, 4, 3 বা 2 bit-এ, সঙ্গে MLX-এর গ্রুপ স্কেল (প্রতি ওয়েটে আধা bit), অথবা তার নেটিভ ফরম্যাট, আর তার ওপর কনটেক্সটের জায়গা। ডিফল্টভাবে macOS GPU-কে ইউনিফায়েড মেমরির প্রায় 75% ব্যবহার করতে দেয়। গতি: মেমরি ব্যান্ডউইথকে প্রতি টোকেনে পড়া বাইট দিয়ে ভাগ করলে একটি কথোপকথনের সর্বোচ্চ সীমা পাওয়া যায়; llama.cpp-এর পাবলিক Apple Silicon বেঞ্চমার্কে আসল রান এর প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায়, আর সেই রেঞ্জটাই দেখানো হয়েছে। এগুলো অনুমান, মাপা ফল নয়: MLX Bench-এ আপনার নিজের Mac মাপুন। মডেলের তথ্য প্রতিটি অফিশিয়াল মডেল কার্ড থেকে, চিপের তথ্য Apple-এর Tech Specs থেকে। যাচাই করা হয়েছে 2026-10-19। mlx.app/compare-এর একই ডেটা।