আপনার AI সার্ভার হিসেবে Mac mini।

1কেন Mac mini

ল্যাঙ্গুয়েজ মডেল দিয়ে লেখার গতি সীমিত হয় মেমরি থেকে ওয়েট কত দ্রুত পড়া যায় তাতে। Mac-এ GPU সরাসরি ইউনিফায়েড মেমরি পড়ে, তাই 64 GB-এর Mac mini এমন মডেল ধরতে পারে যা কনজিউমার গ্রাফিক্স কার্ডে ধরে না, অলস অবস্থায় মাত্র কয়েক ওয়াটে। এটি সামান্য জায়গা নেয় আর macOS চালায়, তাই MacBook-এর মতো একই টুল কাজ করে।

এর সীমা হলো মেমরি আর ব্যান্ডউইথ। সবচেয়ে বড় Mac mini-তে 64 GB, 307 GB/s গতিতে; উঁচু প্রিসিশনে 70B শ্রেণির মডেল বা সবচেয়ে বড় ওপেন মডেলের জন্য পরের ধাপ 512 GB পর্যন্ত মেমরির Mac Studio (Apple)। দেখুন লোকাল LLM-এর জন্য সেরা Mac।

2কোন মডেলের জন্য কোন Mac mini

গতি ঠিক করে ব্যান্ডউইথ: 24 বা 32 GB-এর M6-এর চেয়ে M5 Pro মেমরি প্রায় 80% দ্রুত পড়ে, তাই একই মডেল এতে প্রায় 80% পর্যন্ত দ্রুত লিখতে পারে। প্রতিটি সারি সেই Mac-এ ভালো চলা প্রতিটি মডেলের পাতায় নিয়ে যায়, গতিসহ। M4 আর M4 Pro-র আগের Mac mini-ও একইভাবে কাজ করে: Mac mini M4 Pro।

এজেন্ট আর লম্বা ডকুমেন্টের জন্য মডেলের ওপর কনটেক্সটের মেমরিও লাগে। AI এজেন্টই যদি মূল কাজ হয়, দ্রুত চিপের চেয়ে বেশি মেমরি বাছুন।

3জাগিয়ে রাখুন, নাগালে রাখুন

Mac mini-তে System Settings › Energy খুলুন (Apple):

• Prevent automatic sleeping when the display is off: চালু, যাতে স্ক্রিন ছাড়াও সার্ভার উত্তর দিতে থাকে।
• Start up automatically after a power failure: চালু, যাতে এটি নিজে থেকেই আবার চালু হয়।
• Wake for network access: চালু, যদি একে ঘুমাতে দেন।
• Low Power Mode: সার্ভারের মতো সবসময় চালু কম্পিউটারের জন্য Apple এটি সুপারিশ করে, বিদ্যুৎ খরচ আর ফ্যানের শব্দ কমাতে।

স্ক্রিন ছাড়া পরিচালনা করতে System Settings › General › Sharing-এ Remote Login (SSH) বা Screen Sharing চালু করুন (Apple)। সার্ভার অ্যাপটি লগইনের সময় খুলবে এমনভাবে সেট করুন, যাতে রিস্টার্টের পর সব ফিরে আসে।

4অন্য ডিভাইসে মডেল সার্ভ করুন

এদের প্রতিটি Mac mini-তে একটি মডেল চালায় আর আপনার অন্য অ্যাপগুলোকে OpenAI-এর API-র ফরম্যাটে একটি API দেয়, যা বেশিরভাগ চ্যাট অ্যাপ, কোডিং টুল আর এজেন্ট গ্রহণ করে:

যেমন mlx-lm দিয়ে:

pip install mlx-lm
mlx_lm.server --model mlx-community/Qwen3-8B-4bit --host 0.0.0.0 --port 8080

# from another computer on the same network
curl http://<mac-mini-name>.local:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Hello"}]}'

Ollama ডিফল্টভাবে 5 মিনিট কোনো অনুরোধ না এলে মডেল মেমরি থেকে নামিয়ে দেয়; সার্ভারে মডেল মেমরিতে রাখতে OLLAMA_KEEP_ALIVE সেট করুন (Ollama)। Mac-এ LLM চালানোর সেরা অ্যাপ এই টুলগুলোর বিস্তারিত তুলনা করে।

AI App Store-এ আছে এই টুলগুলো আর লোকালি মডেল চালানোর অন্য অ্যাপ, প্রতিটির সঙ্গে নির্মাতার অফিসিয়াল ডাউনলোড, লাইসেন্স আর আপনার ডেটা কোথায় যায়।

5এতে AI এজেন্ট চালানো

অনেক Mac mini এখন এমন AI এজেন্ট চালায় যা দিনরাত চ্যাট অ্যাপ, ফাইল আর ওয়েবে কাজ করে। যেমন OpenClaw একটি ওপেন-সোর্স অ্যাসিস্ট্যান্ট যা আপনার নিজের কম্পিউটারে চলে, যেখানে লোকালগুলোসহ মডেলগুলো বদলানো যায় এমন প্লাগইন (OpenClaw)। এমন এজেন্টকে লোকাল সার্ভারের ঠিকানা দিন, তাহলে এটি ক্লাউড API-র বদলে আপনার Mac mini-র মডেল ব্যবহার করবে।

চ্যাটের চেয়ে এজেন্টের জন্য দুটি জিনিস বেশি জরুরি। কনটেক্সট: এজেন্ট টুলের বিবরণ আর ইতিহাসসহ লম্বা প্রম্পট পাঠায়, যা মডেলের ওপর বাড়তি মেমরি নেয় (কেন, দেখুন)। আর মডেলের মান: আপনার Mac mini-তে ভালো চলা সবচেয়ে বড় মডেল ছোট মডেলের চেয়ে বেশি নির্ভরযোগ্যভাবে নির্দেশ মানবে আর টুল কল করবে।

6ব্যক্তিগত রাখুন

• আপনি না বদলানো পর্যন্ত এই সার্ভারগুলো শুধু Mac-এর ভেতরেই শোনে। শুধু আপনার বাড়ি বা অফিসের নেটওয়ার্কে খুলুন, আর তাও কেবল সেই নেটওয়ার্কের ডিভাইসগুলোকে বিশ্বাস করলে।
• mlx-lm-এর নিজস্ব ডকুমেন্টেশন বলে এর সার্ভার প্রোডাকশনের জন্য সুপারিশ করা হয় না, কারণ এতে শুধু মৌলিক নিরাপত্তা যাচাই আছে (mlx-lm)।
• ইন্টারনেটে পোর্ট ফরোয়ার্ড করবেন না। বাইরে থেকে Mac mini-তে পৌঁছাতে VPN-এর মতো একটি প্রাইভেট নেটওয়ার্ক ব্যবহার করুন।
• যে এজেন্ট কমান্ড চালাতে বা মেসেজ পাঠাতে পারে, সে আপনার অ্যাকাউন্ট দিয়েই কাজ করে: যতটুকু দরকার শুধু ততটুকু অ্যাক্সেস দিন।

7খরচ কত, আর অলস সময়ের কাজ

বাড়ির সার্ভার দিনের বেশিরভাগ সময় অপেক্ষাতেই কাটায়। MLX Node সেই সময়টা কাজে লাগাতে পারে: এটি আপনার ঠিক করা সীমার মধ্যে MLX Network-এর জন্য AI জব চালায়, একটি জব কত মেমরি নিতে পারবে তাসহ, আর ফ্রি সিটে MLX টোকেন আয় করে, দিনে সর্বোচ্চ 1 MLX। Mac mini পুরো গতিতে দরকার হলে থামিয়ে দিন, অথবা Mac অলস হওয়ার পরেই শুরু হতে দিন। আয় নেটওয়ার্কের ওপর নির্ভর করে আর নিশ্চিত নয়: ঝুঁকি পড়ুন।

8প্রশ্নোত্তর

AI-এর জন্য কি Mac mini ভালো?

লোকালি মডেল চালানোর জন্য, হ্যাঁ: এর GPU সরাসরি ইউনিফায়েড মেমরি পড়ে, তাই 64 GB-এর M5 Pro 4-bit-এ প্রায় 85B প্যারামিটার পর্যন্ত মডেল ধরে, অলস অবস্থায় কয়েক ওয়াটে। ট্রেনিং বা সবচেয়ে বড় মডেলের জন্য Mac Studio বা GPU সার্ভার ভালো।

লোকাল LLM সার্ভারের জন্য কোন Mac mini কিনব?

যত বেশি মেমরি সম্ভব: কোন মডেল ধরবে তা মেমরি ঠিক করে, আর পরে আপগ্রেড করা যায় না। 24 বা 32 GB-এর M6-এর চেয়ে M5 Pro মেমরি প্রায় 80% দ্রুত পড়ে, তাই দ্রুত লেখে। প্রতিটি কনফিগারেশন তুলনা করুন Mac mini M5 Pro আর Mac mini M6-এ।

Mac mini কি 70B মডেল চালাতে পারে?

শুধু 64 GB-এর M5 Pro, 4-bit-এ আর ছোট কনটেক্সটে: GPU ডিফল্টভাবে যে 48 GB ব্যবহার করতে পারে তার প্রায় 39 GB ওয়েটই নেয়। এটি ধীরে লেখে, সেকেন্ডে কয়েকটি টোকেন। দেখুন Mac-এ Llama 3.3 70B।

ল্যাপটপ বা ফোন থেকে Mac mini-র মডেল কীভাবে ব্যবহার করব?

সার্ভারটি এমনভাবে চালু করুন যাতে আপনার নেটওয়ার্কে শোনে (যেমন mlx_lm.server --host 0.0.0.0), তারপর অন্য ডিভাইসের অ্যাপে http://<mac-mini-name>.local:8080/v1 ঠিকানাটি OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্ট হিসেবে দিন।

Mac mini AI সার্ভার কত বিদ্যুৎ খরচ করে?

M6 Mac mini অলস অবস্থায় প্রায় 4 W আর সর্বোচ্চ 70 W নেয়; M5 Pro 6 W থেকে 145 W। একদিন টানা পুরো লোডে চললে সর্বোচ্চ 1.68 বা 3.48 kWh (Apple)।