লগ ইনওয়ালেট তৈরি করুন

AI-এর জন্য Mac mini বনাম Mac Studio।

দুটোই ছোট ডেস্কটপ Mac, যা নিজের GPU আর ইউনিফায়েড মেমরিতে AI মডেল চালায়। আসল পার্থক্য হলো কত মেমরি নেওয়া যায় আর চিপ তা কত দ্রুত পড়ে। এখানে Apple-এর হিসাব থেকে তুলনা, আর কোনটি কোন ধরনের মডেলের জন্য মানানসই।

হালনাগাদ

সংক্ষেপে

  • Mac mini-তে সর্বোচ্চ 64 GB (M5 Pro), Mac Studio-তে M5 Max-এ 128 GB আর M5 Ultra-তে 512 GB পর্যন্ত (Apple, Apple)।
  • লেখার গতি ঠিক করে ব্যান্ডউইথ: M6 Mac mini-তে 153–170 GB/s, M5 Pro-তে 307 GB/s, M5 Max-এ 614 GB/s পর্যন্ত আর M5 Ultra-তে 1,200 GB/s।
  • 4-bit-এ প্রায় 30B প্যারামিটার পর্যন্ত মডেল: M5 Pro-র Mac mini-ই যথেষ্ট। 70B শ্রেণির মডেল, gpt-oss-120b বা লম্বা কনটেক্সট: 128 GB-এর Mac Studio। সবচেয়ে বড় ওপেন মডেল: M5 Ultra-র Mac Studio।
  • মেমরি পরে আপগ্রেড করা যায় না, তাই শুধু আজকের নয়, আগামী বছর যে মডেল চালাতে চান তার জন্য বাছুন।

1AI-এর জন্য যে স্পেকগুলো জরুরি

Macমেমরির বিকল্পমেমরি ব্যান্ডউইথ4-bit-এ সবচেয়ে বড় মডেলবিদ্যুৎ, অলস থেকে সর্বোচ্চ
Mac mini, M616, 24 বা 32 GB153–170 GB/sপ্রায় 21B থেকে 42B4–70 W
Mac mini, M5 Pro24, 48 বা 64 GB307 GB/sপ্রায় 32B থেকে 85B6–145 W
Mac Studio, M5 Max36, 48, 64 বা 128 GB460–614 GB/sপ্রায় 48B থেকে 170B7–200 W
Mac Studio, M5 Ultra96, 256 বা 512 GB1,200 GB/sপ্রায় 128B থেকে 682B9–385 W
মেমরি ও ব্যান্ডউইথ Apple-এর Tech Specs থেকে, Mac mini আর Mac Studio; বিদ্যুৎ Apple-এর হিসাব থেকে, Mac mini আর Mac Studio। সবচেয়ে বড় মডেল: শুধু ওয়েট, GPU মেমরির প্রায় 75% ব্যবহার করে ধরে (হিসাবটা কীভাবে)।

প্রতিটি কনফিগারেশন সেই মডেলগুলোর পাতায় নিয়ে যায় যা তাতে ভালো চলে। আগের মডেলগুলোও একইভাবে কাজ করে: M4 বা M4 Pro-র Mac mini, আর M4 Max বা M3 Ultra-র Mac Studio (প্রতিটি Mac, র‍্যাঙ্কিংসহ)।

2কোনটি কত দ্রুত লেখে

লেখা তৈরির সময় প্রতিটি টোকেনের জন্য মডেলের সক্রিয় ওয়েট একবার পড়া হয়, তাই গতির সর্বোচ্চ সীমা ঠিক করে মেমরি ব্যান্ডউইথ। 4-bit-এ একটি 32B ডেন্স মডেলের জন্য, প্রায় 18 GB:

Macএকটি চ্যাটের সর্বোচ্চ সীমাধরে?
Mac mini, M6 (32 GB)প্রায় 9 টোকেন/sহ্যাঁ
Mac mini, M5 Pro (48 বা 64 GB)প্রায় 17 টোকেন/sহ্যাঁ
Mac Studio, M5 Max (48 GB বা বেশি)প্রায় 34 টোকেন/sহ্যাঁ
Mac Studio, M5 Ultraপ্রায় 67 টোকেন/sহ্যাঁ
ব্যান্ডউইথকে 18 GB দিয়ে ভাগ। আসল রানে সাধারণত এই সীমার প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায় (llama.cpp বেঞ্চমার্ক)। আনুমানিক হিসাব, মাপা নয়।

মিক্সচার-অফ-এক্সপার্টস মডেল প্রতি টোকেনে তার ওয়েটের সামান্য অংশই পড়ে, তাই সাইজ দেখে যা মনে হয় তার চেয়ে অনেক দ্রুত লেখে: ধরবে কি না তা ঠিক করে মেমরি, গতি তবুও ঠিক করে ব্যান্ডউইথ। লম্বা প্রম্পট পড়া ব্যান্ডউইথের চেয়ে GPU-র কম্পিউটের ওপর বেশি নির্ভর করে, আর সেখানে Max ও Ultra চিপের বড় GPU আরও এগিয়ে যায়।

3কোন মডেলের জন্য কোনটি

  • ছোট ও মাঝারি মডেল (4-bit-এ প্রায় 30B পর্যন্ত), চ্যাট, কোডিং সহায়ক, বাড়ির AI সার্ভার: 48 বা 64 GB-সহ M5 Pro-র Mac mini। 32 GB-এর M6 Mac mini একই সাইজ চালায়, প্রায় অর্ধেক গতিতে।
  • 70B শ্রেণির মডেল, gpt-oss-120b, লম্বা কনটেক্সট বা একসঙ্গে কয়েকটি মডেল: 128 GB-সহ M5 Max-এর Mac Studio। OpenAI-এর নিজস্ব gpt-oss-120b ফাইল প্রায় 65 GB (OpenAI), যা কোনো Mac mini তার GPU-কে দিতে পারে তার চেয়ে বেশি।
  • সবচেয়ে বড় ওপেন মডেল (শত শত বিলিয়ন প্যারামিটার): 256 বা 512 GB-সহ M5 Ultra-র Mac Studio, অথবা কয়েকটি Mac একসঙ্গে (Mac AI ক্লাস্টার)।

নির্দিষ্ট কোনো মডেলের জন্য তার পাতা দেখায় কোন সবচেয়ে ছোট Mac তা চালায় আর প্রতিটি চিপে গতি: প্রতিটি ওপেন মডেল।

4সারাদিন চালিয়ে রাখা

দুটোই নিঃশব্দ, মিতব্যয়ী, সবসময় চালু রাখার মতো মেশিন। ওপরের Apple-এর হিসাবে Mac mini অলস অবস্থায় 4–6 W আর Mac Studio 7–9 W নেয়; পুরো লোডে M5 Ultra-র Mac Studio 385 W পর্যন্ত নিতে পারে। AI সার্ভার হিসেবে Mac mini দেখায় কীভাবে জাগিয়ে রাখবেন আর অন্য ডিভাইসে মডেল সার্ভ করবেন, আর Mac কত বিদ্যুৎ খরচ করে দেখায় একদিনে কত খরচ।

অলস থাকলে MLX Node MLX Network-এর জন্য AI জব চালিয়ে MLX টোকেন আয় করতে পারে। চিপের সঙ্গে মেলানো একটি ডেডিকেটেড সিট দ্রুত মাইন করে: M6-এর জন্য Core, M5 Pro আর M5 Max-এর জন্য Pro, M5 Ultra-র জন্য Ultra। আয় নিশ্চিত নয়: ঝুঁকি পড়ুন।

5প্রশ্নোত্তর

AI-এর জন্য Mac mini-র বদলে Mac Studio কি দামের যোগ্য?
প্রায় 85B প্যারামিটারের চেয়ে বড় মডেল, gpt-oss-120b বা লম্বা কনটেক্সট চাইলে হ্যাঁ: শুধু Mac Studio-তেই 64 GB-এর বেশি আছে। 4-bit-এ প্রায় 30B পর্যন্ত মডেলের জন্য M5 Pro-র Mac mini যথেষ্ট, M5 Max-এর প্রায় অর্ধেক ব্যান্ডউইথে।
Mac mini কি 70B মডেল চালাতে পারে?
শুধু 64 GB-এর M5 Pro, 4-bit-এ আর ছোট কনটেক্সটে: GPU ডিফল্টভাবে যে 48 GB ব্যবহার করতে পারে তার প্রায় 39 GB ওয়েটই নেয়, সেকেন্ডে কয়েকটি টোকেন গতিতে। 128 GB-এর Mac Studio কনটেক্সটের জায়গা রেখেই এটি চালায়, প্রায় দ্বিগুণ গতিতে।
LLM-এর জন্য Mac Studio M5 Max না M5 Ultra?
M5 Ultra-র ব্যান্ডউইথ প্রায় দ্বিগুণ (1,200 বনাম 614 GB/s), তাই প্রায় দ্বিগুণ দ্রুত লেখে, আর 512 GB পর্যন্ত যায়। 128 GB-এর M5 Max 4-bit-এ প্রায় 170B পর্যন্ত মডেল চালায়। দেখুন M5 Max vs M5 Ultra।
AI-এর জন্য Mac mini M6 না M5 Pro?
M5 Pro: 24 বা 32 GB-এর M6-এর চেয়ে এটি মেমরি প্রায় 80% দ্রুত পড়ে, আর 32 GB-এর বদলে 64 GB পর্যন্ত যায়।

তথ্যসূত্র

  1. Applesupport.apple.com
  2. Applesupport.apple.com
  3. Mac minisupport.apple.com
  4. Mac Studiosupport.apple.com
  5. llama.cpp বেঞ্চমার্কgithub.com
  6. OpenAIhuggingface.co

এরপর পড়ুন

Apple Silicon-এ AI চালানলোকাল LLM-এর জন্য সেরা Mac।লোকাল LLM চালাতে কোন Mac কিনবেন? কী ধরবে তা ঠিক করে মেমরি, গতি ঠিক করে ব্যান্ডউইথ। MacBook Air থেকে Mac Studio M5 Ultra, প্রতিটি Apple Silicon চিপের তুলনা।গাইডটি পড়ুনApple Silicon-এ AI চালানআপনার AI সার্ভার হিসেবে Mac mini।Mac mini-কে সবসময় চালু AI সার্ভার বানান: কোন Mac mini-তে কোন মডেল ধরে, জাগিয়ে রাখা, নেটওয়ার্ক ও এজেন্টকে OpenAI-সামঞ্জস্যপূর্ণ API দেওয়া, বিদ্যুৎ খরচ।গাইডটি পড়ুনApple Silicon-এ AI চালানLLM চালাতে কত RAM লাগে?যেকোনো LLM-এর নিয়ম: 4-bit-এ প্রতি বিলিয়ন প্যারামিটারে প্রায় 0.56 GB, 16-bit-এ 2 GB, সঙ্গে কনটেক্সটের মেমরি। 1B থেকে 671B ও প্রতিটি Mac মেমরির টেবিল।গাইডটি পড়ুন