মেমরি সাইজ অনুযায়ী
| মেমরি | ভালো চলে | ভালো চলে এমন সবচেয়ে বড় | gpt-oss-20b |
|---|---|---|---|
| 16 GB120 GB/s | 19 | Qwen3.5 9B | 34–60 tok/s |
| 24 GB120 GB/s | 22 | Gemma 4 26B A4B | 28–51 tok/s |
| 32 GB120 GB/s | 27 | Qwen3.6 35B A3B | 28–51 tok/s |
Mac মডেল: Mac mini (2024)। সব Mac মডেলে সব মেমরি সাইজ পাওয়া যায় না; কোনটির সঙ্গে কী আসে, তা Apple-এর Tech Specs-এ দেওয়া আছে।
প্রশ্ন
- লোকাল LLM-এর জন্য M4 চিপসহ Mac mini কি ভালো?
- 32 GB-তে এটি 73টি ওপেন মডেলের মধ্যে 27টি ভালোভাবে চালায়, Qwen3.6 35B A3B পর্যন্ত, আর gpt-oss-20b দিয়ে সেকেন্ডে প্রায় 28–51 টোকেন লেখে। M4 চিপ 120 GB/s গতিতে মেমরি পড়ে, যা ঠিক করে এটি কত দ্রুত লেখে।
- AI-এর জন্য M4 চিপসহ Mac mini কেনার সময় কত মেমরি নেওয়া উচিত?
- 16 GB-তে এটি 19টি ওপেন মডেল ভালোভাবে চালায়; 32 GB-তে 27টি, Qwen3.6 35B A3B পর্যন্ত। কোন মডেল ধরবে তা ঠিক করে মেমরি, আর পরে তা আপগ্রেড করা যায় না।
অন্য Mac
অন্য চিপসহ Mac mini:
M4 চিপসহ অন্য Mac:
মুখোমুখি:
হিসাব কীভাবে করা হয়েছে
মেমরি: মডেলের প্যারামিটার প্রতি ওয়েটে 8, 6, 4, 3 বা 2 bit-এ, সঙ্গে MLX-এর গ্রুপ স্কেল (প্রতি ওয়েটে আধা bit), অথবা তার নেটিভ ফরম্যাট, আর তার ওপর কনটেক্সটের জায়গা। ডিফল্টভাবে macOS GPU-কে ইউনিফায়েড মেমরির প্রায় 75% ব্যবহার করতে দেয়। গতি: মেমরি ব্যান্ডউইথকে প্রতি টোকেনে পড়া বাইট দিয়ে ভাগ করলে একটি কথোপকথনের সর্বোচ্চ সীমা পাওয়া যায়; llama.cpp-এর পাবলিক Apple Silicon বেঞ্চমার্কে আসল রান এর প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায়, আর সেই রেঞ্জটাই দেখানো হয়েছে। এগুলো অনুমান, মাপা ফল নয়: MLX Bench-এ আপনার নিজের Mac মাপুন। মডেলের তথ্য প্রতিটি অফিশিয়াল মডেল কার্ড থেকে, চিপের তথ্য Apple-এর Tech Specs থেকে। যাচাই করা হয়েছে 2026-10-19। mlx.app/compare-এর একই ডেটা।