আপনার Mac কী চালাতে পারে?
আপনার Mac বা অন্য যেকোনো মেশিন বেছে নিন, দেখুন কোন ওপেন AI মডেল তার মেমরিতে আঁটে আর সেগুলো কত দ্রুত চলে। হিসাব করা হয়েছে প্রতিটি মডেলের মডেল কার্ড আর প্রতিটি চিপের প্রকাশিত মেমরি ও ব্যান্ডউইথ থেকে।
Apple M5, 16 GB: ডিফল্টভাবে মডেলের জন্য প্রায় 12 GB, মেমরি ব্যান্ডউইথ 153 GB/s। 43টি জনপ্রিয় মডেলের মধ্যে 20টি এতে চলে। এর পেজ মাপা হয়েছে: llama.cpp-এ 4-bit Llama 2 7B দিয়ে 32 টোকেন/সেকেন্ড (M5 (10-core GPU))।
বুদ্ধিমত্তা: Artificial Analysis Intelligence Index v4.3.2, যেখানে মাপা হয়েছে। মডেলের নাম তাদের অফিশিয়াল কার্ডে লিঙ্ক করা।
হিসাব কীভাবে করা হয়েছে
মেমরি। প্রতিটি মডেল দেখানো হয়েছে সবচেয়ে উঁচু যে প্রিসিশনে সেটি আঁটে: প্রতি ওয়েটে 8, 6, 4, 3 বা 2 bit, সঙ্গে MLX-এর গ্রুপ স্কেল (প্রতি ওয়েটে আধা bit), অথবা মডেলটি নিজস্ব ফরম্যাটে এলে সেই নেটিভ ফরম্যাটে। Mac-এ ডিফল্টভাবে GPU ইউনিফায়েড মেমরির প্রায় 75% ব্যবহার করতে পারে; তার ওপর আমরা কনটেক্সটের জন্য জায়গা রাখি।
গতি। লেখার সময় প্রতিটি টোকেন সব অ্যাক্টিভ ওয়েট একবার পড়ে, তাই মেমরি ব্যান্ডউইথকে সেই বাইট দিয়ে ভাগ করলে একটি কথোপকথনের সর্বোচ্চ সীমা পাওয়া যায়। llama.cpp-এর Apple Silicon-এর পাবলিক বেঞ্চমার্কে বাস্তব রান এর প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায়, আর সেই পরিসরটিই দেখানো হয়েছে। লম্বা প্রম্পট পড়া কম্পিউটের ওপর নির্ভর করে, তাই সেটি এখানে দেখানো হয়নি।
উৎস। প্যারামিটার, কনটেক্সট ও লাইসেন্স Hugging Face-এ প্রতিটি মডেলের অফিশিয়াল কার্ড থেকে (নামের সঙ্গে লিঙ্ক করা); মেমরি ও ব্যান্ডউইথ Apple ও নির্মাতাদের স্পেসিফিকেশন থেকে। যাচাই: 2026-10-19। নিজের Mac MLX Bench-এ মেপে দেখুন। প্রতিটি Mac, প্রতিটি মডেল আর পুরো ফিট টেবিল JSON ও CSV হিসেবে বিনামূল্যে ডাউনলোড করা যায়: ওপেন ডেটা।
ব্রাউজ করুন। প্রতিটি Mac, 8 GB-র M1 থেকে 512 GB-র M5 Ultra পর্যন্ত, তাতে চলা প্রতিটি মডেলসহ, আর প্রতিটি মডেল, তার দরকারি সবচেয়ে ছোট Mac-সহ।
চালিয়ে দেখুন। ধাপে ধাপে: Mac-এ LLM ডাউনলোড করে চালান, MLX বনাম Ollama বনাম llama.cpp আর লোকাল LLM-এর জন্য সেরা Mac। আপনার Mac অলস বসে থাকলে সেটি MLX টোকেন আয় করতে পারে।
- কোনো LLM আমার Mac-এ চলবে কি না, কীভাবে বুঝব?
- আপনি যে প্রিসিশনে চান, সেই প্রিসিশনে মডেলের আকার আপনার Mac-এর ইউনিফায়েড মেমরির সঙ্গে তুলনা করুন। ডিফল্টভাবে macOS GPU-কে এর প্রায় 75% ব্যবহার করতে দেয়, আর মডেলের কনটেক্সটের জন্যও জায়গা লাগে। 4-bit মডেলের প্রতি একশো কোটি প্যারামিটারে আধা গিগাবাইটের একটু বেশি লাগে।
- প্রতি সেকেন্ডে কত টোকেন পাব?
- লেখার গতি মেমরি ব্যান্ডউইথে সীমিত: প্রতিটি টোকেন মডেলের অ্যাক্টিভ ওয়েট একবার পড়ে। ব্যান্ডউইথকে প্রতি টোকেনে পড়া বাইট দিয়ে ভাগ করলে একটি কথোপকথনের সর্বোচ্চ সীমা মেলে; বাস্তব রান সাধারণত এর প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায়।
- মিক্সচার-অফ-এক্সপার্টস (MoE) মডেল দ্রুত চলে কেন?
- এগুলো মেমরিতে অনেক এক্সপার্ট রাখে, কিন্তু প্রতিটি টোকেনে তার কয়েকটিই ব্যবহার করে, তাই প্রতিটি টোকেন অনেক কম বাইট পড়ে। পুরো মডেলের জন্য মেমরি লাগে, কিন্তু গতি অনেক ছোট মডেলের মতো।
- 4-bit কি যথেষ্ট?
- বেশিরভাগ মডেলে 4-bit মান মূলের কাছাকাছি রাখে। 4 bit-এর নিচে মান দ্রুত পড়ে যায়, তাই 4 bit-এর কম সংস্করণগুলো চিহ্নিত করা আছে।