M5 কি 70B মডেল চালাতে পারে?

স্বচ্ছন্দে নয়। 4-বিটে 70B মডেলের প্রায় 40 GB লাগে, আর M5-এ সর্বোচ্চ 32 GB। প্রায় 42B প্যারামিটার পর্যন্ত মডেল ভালোভাবে ধরে।

M5 সেকেন্ডে কত টোকেন দেয়?

4-বিটে 8B মডেলের ঊর্ধ্বসীমা সেকেন্ডে প্রায় 34 টোকেন, আর বাস্তবে এর মোটামুটি অর্ধেক থেকে চার-পঞ্চমাংশ পর্যন্ত পৌঁছায়। বড় মডেল সেই অনুপাতে ধীর।

M5 কি AI-এর জন্য ভালো?

লোকালি মডেল চালাতে মেমরি আর ব্যান্ডউইথই সবচেয়ে গুরুত্বপূর্ণ। M5-এ 153 GB/s গতির সর্বোচ্চ 32 GB মেমরি আছে, যা প্রায় 42 বিলিয়ন প্যারামিটার পর্যন্ত মডেলের জন্য যথেষ্ট। MLX Node দিয়ে MLX Network-এর জন্য AI-এর কাজ চালিয়ে এটি আয়ও করতে পারে।

লোকাল LLM-এর জন্য M5: মেমরি, গতি ও কোন মডেল চলে

1AI-এর জন্য যে স্পেকগুলো গুরুত্বপূর্ণ

ইউনিফায়েড মেমরি	32 GB
মেমরি ব্যান্ডউইথ	153 GB/s
যে Mac-এ আছে	14-inch MacBook Pro (2025), MacBook Air (2026)
এর জন্য ডেডিকেটেড সিট	Core সিট: দিনে সর্বোচ্চ 20 MLX মাইন করে

2কোন মডেলগুলো ধরে

প্রতি ওয়েটে 4 বিট হলে একটি মডেলের প্রতি বিলিয়ন প্যারামিটারে আধা গিগাবাইটের একটু বেশি লাগে, সঙ্গে তার কনটেক্সট আর macOS-এর জায়গা। 32 GB নিয়ে M5 প্রায় 42 বিলিয়ন প্যারামিটার পর্যন্ত মডেল স্বচ্ছন্দে ধরে।

4-বিটে মডেল	যত মেমরি লাগে	M5-এ ধরে
8B মডেল	4.5 GB	হ্যাঁ
14B মডেল	7.9 GB	হ্যাঁ
32B মডেল	18 GB	হ্যাঁ
70B মডেল	39.4 GB	না
gpt-oss-120b, mixture-of-experts	65 GB	না
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	না
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	না

3কত দ্রুত চলে

লেখা তৈরির গতি মেমরি ব্যান্ডউইথে সীমিত: প্রতিটি নতুন টোকেন মডেলের সক্রিয় ওয়েট একবার করে পড়ে। M5-এর 153 GB/s-কে প্রতি টোকেনে পড়া বাইট দিয়ে ভাগ করলে নিচের ঊর্ধ্বসীমা পাওয়া যায়। বাস্তবে সাধারণত এর প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায় (llama.cpp বেঞ্চমার্ক)।

4-বিটে মডেল	প্রতি টোকেনে পড়া	এক চ্যাটের ঊর্ধ্বসীমা
8B মডেল	4.5 GB	সেকেন্ডে 34 টোকেন
14B মডেল	7.9 GB	সেকেন্ডে 19 টোকেন
32B মডেল	18 GB	সেকেন্ডে 9 টোকেন

মাপা ফল: llama.cpp-এর পাবলিক বেঞ্চমার্কে M5 (10-core GPU)-এ Llama-2-7B (Q4_0) সেকেন্ডে 32 টোকেন তৈরি করে।

M5 প্রজন্মের চিপ GPU-তে নিউরাল অ্যাক্সিলারেটর যোগ করে, তাই এগুলো M4-এর চেয়ে কয়েক গুণ দ্রুত প্রম্পট পড়ে: Apple মেপেছে, MLX-এ প্রথম টোকেন 3.3 থেকে 4.1 গুণ আগে আসে (Apple)।

আপনার M5 Mac দিয়ে আয় করুন

MLX Node MLX Network-এর জন্য AI-এর কাজ চালায় এবং MLX টোকেন আয় করে, আপনার ঠিক করা সীমার মধ্যে। M5-যুক্ত একটি Mac Core সিট পুরো হারে চালায়, আর সেখানে একটি সিট দিনে সর্বোচ্চ 20 MLX মাইন করে; ফ্রি সিটে একটি Mac দিনে সর্বোচ্চ 1 MLX মাইন করে। মাইন করা MLX ফ্রি সিটে 30 দিন লক থাকে, ডেডিকেটেড সিটে 3 থেকে 20 দিন। দেখুন ডেডিকেটেড সিট ও ঝুঁকি।

MLX Node ডাউনলোড করুন

5অন্য চিপের সঙ্গে তুলনা করুন

6প্রশ্নোত্তর

M5 কি 70B মডেল চালাতে পারে?: স্বচ্ছন্দে নয়। 4-বিটে 70B মডেলের প্রায় 40 GB লাগে, আর M5-এ সর্বোচ্চ 32 GB। প্রায় 42B প্যারামিটার পর্যন্ত মডেল ভালোভাবে ধরে।
M5 সেকেন্ডে কত টোকেন দেয়?: 4-বিটে 8B মডেলের ঊর্ধ্বসীমা সেকেন্ডে প্রায় 34 টোকেন, আর বাস্তবে এর মোটামুটি অর্ধেক থেকে চার-পঞ্চমাংশ পর্যন্ত পৌঁছায়। বড় মডেল সেই অনুপাতে ধীর।
M5 কি AI-এর জন্য ভালো?: লোকালি মডেল চালাতে মেমরি আর ব্যান্ডউইথই সবচেয়ে গুরুত্বপূর্ণ। M5-এ 153 GB/s গতির সর্বোচ্চ 32 GB মেমরি আছে, যা প্রায় 42 বিলিয়ন প্যারামিটার পর্যন্ত মডেলের জন্য যথেষ্ট। MLX Node দিয়ে MLX Network-এর জন্য AI-এর কাজ চালিয়ে এটি আয়ও করতে পারে।

তথ্যসূত্র

Apple: M5apple.com
Apple: MacBook Air with M5apple.com
llama.cpp: Apple Silicon benchmarksgithub.com