লগ ইনওয়ালেট তৈরি করুন

লোকাল AI-এর জন্য M5 Max।

M5 Max-এ আছে সর্বোচ্চ 128 GB ইউনিফায়েড মেমরি, যা সর্বোচ্চ 614 GB/s গতিতে পড়া যায়। এমন Mac-এ ল্যাঙ্গুয়েজ মডেল চালানোর জন্য এর মানে কী, তা এখানে Apple-এর নিজস্ব হিসাব থেকে বের করা হয়েছে।

1AI-এর জন্য যে স্পেকগুলো গুরুত্বপূর্ণ

ইউনিফায়েড মেমরি128 GB
মেমরি ব্যান্ডউইথ614 GB/s, অথবা নিচের কনফিগারেশনে 460 GB/s
যে Mac-এ আছে14- and 16-inch MacBook Pro (2026), Mac Studio (2026)
এর জন্য ডেডিকেটেড সিটPro Latest সিট: দিনে সর্বোচ্চ 120 MLX মাইন করে

2কোন মডেলগুলো ধরে

প্রতি ওয়েটে 4 বিট হলে একটি মডেলের প্রতি বিলিয়ন প্যারামিটারে আধা গিগাবাইটের একটু বেশি লাগে, সঙ্গে তার কনটেক্সট আর macOS-এর জায়গা। 128 GB নিয়ে M5 Max প্রায় 170 বিলিয়ন প্যারামিটার পর্যন্ত মডেল স্বচ্ছন্দে ধরে।

4-বিটে মডেলযত মেমরি লাগেM5 Max-এ ধরে
8B মডেল4.5 GBহ্যাঁ
14B মডেল7.9 GBহ্যাঁ
32B মডেল18 GBহ্যাঁ
70B মডেল39.4 GBহ্যাঁ
gpt-oss-120b, mixture-of-experts65 GBহ্যাঁ
Qwen3.5-397B-A17B, mixture-of-experts223.3 GBনা
DeepSeek-V4.1-Flash, mixture-of-experts316 GBনা

3কত দ্রুত চলে

লেখা তৈরির গতি মেমরি ব্যান্ডউইথে সীমিত: প্রতিটি নতুন টোকেন মডেলের সক্রিয় ওয়েট একবার করে পড়ে। M5 Max-এর 614 GB/s-কে প্রতি টোকেনে পড়া বাইট দিয়ে ভাগ করলে নিচের ঊর্ধ্বসীমা পাওয়া যায়। বাস্তবে সাধারণত এর প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায় (llama.cpp বেঞ্চমার্ক)।

4-বিটে মডেলপ্রতি টোকেনে পড়াএক চ্যাটের ঊর্ধ্বসীমা
8B মডেল4.5 GBসেকেন্ডে 136 টোকেন
14B মডেল7.9 GBসেকেন্ডে 78 টোকেন
32B মডেল18 GBসেকেন্ডে 34 টোকেন
70B মডেল39.4 GBসেকেন্ডে 16 টোকেন
gpt-oss-120b, mixture-of-experts2.7 GBসেকেন্ডে 227 টোকেন

M5 প্রজন্মের চিপ GPU-তে নিউরাল অ্যাক্সিলারেটর যোগ করে, তাই এগুলো M4-এর চেয়ে কয়েক গুণ দ্রুত প্রম্পট পড়ে: Apple মেপেছে, MLX-এ প্রথম টোকেন 3.3 থেকে 4.1 গুণ আগে আসে (Apple)।

5অন্য চিপের সঙ্গে তুলনা করুন

6প্রশ্নোত্তর

M5 Max কি 70B মডেল চালাতে পারে?
হ্যাঁ। 4-বিটে 70B মডেলের প্রায় 40 GB লাগে, আর M5 Max-এ আছে সর্বোচ্চ 128 GB। এক চ্যাটে সেকেন্ডে প্রায় 16 টোকেনের ঊর্ধ্বসীমা ধরে নিন।
M5 Max সেকেন্ডে কত টোকেন দেয়?
4-বিটে 8B মডেলের ঊর্ধ্বসীমা সেকেন্ডে প্রায় 136 টোকেন, আর বাস্তবে এর মোটামুটি অর্ধেক থেকে চার-পঞ্চমাংশ পর্যন্ত পৌঁছায়। বড় মডেল সেই অনুপাতে ধীর।
M5 Max কি AI-এর জন্য ভালো?
লোকালি মডেল চালাতে মেমরি আর ব্যান্ডউইথই সবচেয়ে গুরুত্বপূর্ণ। M5 Max-এ 614 GB/s গতির সর্বোচ্চ 128 GB মেমরি আছে, যা প্রায় 170 বিলিয়ন প্যারামিটার পর্যন্ত মডেলের জন্য যথেষ্ট। MLX Node দিয়ে MLX Network-এর জন্য AI-এর কাজ চালিয়ে এটি আয়ও করতে পারে।

তথ্যসূত্র

  1. Apple: M5 Pro and M5 Maxapple.com
  2. Apple: Mac Studio with M5 Max and M5 Ultraapple.com
লোকাল LLM-এর জন্য M5 Max: মেমরি, গতি ও কোন মডেল চলে | MLX