Mac-এ LLM চালানোর সেরা অ্যাপগুলো।

1এক নজরে

2প্রতিটি, কয়েক লাইনে

MLX Harness

চ্যাট, বিল্ট-ইন টুলসহ কোডিং এজেন্ট, ছবি তৈরি আর OpenAI, Anthropic ও Ollama ফরম্যাট বোঝে এমন লোকাল API-এর জন্য একটি বিনামূল্যের, ওপেন সোর্স Mac অ্যাপ। এটি Apple-এর MLX দিয়ে মডেল চালায় এবং Hugging Face থেকে ডাউনলোড করে; GGUF ফাইল চালায় না। এর জন্য Apple Silicon-এ macOS 14.5 বা তার পরের সংস্করণ লাগে। এটি আমাদের, JANGQ AI-এর vMLX-এর ওপর তৈরি, আর এর সঙ্গে আছে MLX Node, যা আপনি দূরে থাকলে Mac-কে MLX Network-এর কাজে লাগাতে পারে (সূত্র)। গাইড: MLX Harness কীভাবে ব্যবহার করবেন।

LM Studio

একটি গোছানো অ্যাপ, যা MLX ও GGUF দুই ধরনের মডেল পাশাপাশি চালায়, সঙ্গে Hugging Face-এর ওপর তৈরি মডেল সার্চ (LM Studio)। জুলাই 2025 থেকে এটি বাড়িতে ও কাজে ব্যবহারের জন্য বিনামূল্যে (LM Studio)। এর কমান্ড লাইন টুল, SDK ও MLX ইঞ্জিন MIT লাইসেন্সে; ডেস্কটপ অ্যাপের সোর্স প্রকাশ করা হয়নি (GitHub)। এর জন্য Apple Silicon-এ macOS 14 বা তার পরের সংস্করণ লাগে, আর এটি 16 GB মেমরির পরামর্শ দেয় (প্রয়োজনীয়তা)। এর লোকাল সার্ভার OpenAI ফরম্যাট বোঝে এবং, সংস্করণ 0.4.1 থেকে, Anthropic ফরম্যাটও (চেঞ্জলগ)।

Ollama

এক কমান্ডে মডেল চালানোর উপায়, নিজস্ব মডেল লাইব্রেরিসহ, আর জুলাই 2025 থেকে Mac-এ একটি চ্যাট অ্যাপও (Ollama)। এটি MIT লাইসেন্সে এবং llama.cpp-এর মাধ্যমে GGUF মডেল চালায় (GitHub)। মার্চ 2026 থেকে Apple Silicon-এ এর একটি MLX ইঞ্জিন প্রিভিউতে আছে, 32 GB-এর বেশি মেমরির Mac-এর জন্য এবং ক্রমশ বাড়তে থাকা মডেলের তালিকাসহ (Ollama)। এর জন্য macOS 14 বা তার পরের সংস্করণ লাগে (ডকস), আর পোর্ট 11434-এ এর API-ই অনেক অন্য অ্যাপ আশা করে।

Jan

Mac, Windows ও Linux-এর জন্য একটি ওপেন সোর্স (Apache 2.0) চ্যাট অ্যাপ, সঙ্গে বান্ডল করা llama.cpp ইঞ্জিন, ফেব্রুয়ারি 2026 থেকে নেটিভ MLX সাপোর্ট, MCP টুল আর একটি OpenAI-সামঞ্জস্যপূর্ণ সার্ভার (GitHub, চেঞ্জলগ)। দুটোর জন্য এক অ্যাপ চাইলে এটি ক্লাউড মডেলের সঙ্গেও যুক্ত হতে পারে।

llama.cpp

লোকাল AI-এর বড় অংশের নিচে থাকা ইঞ্জিন: MIT লাইসেন্সের C/C++, যেখানে Metal-এর মাধ্যমে Apple Silicon একটি “first-class citizen” (GitHub)। brew install llama.cpp দিয়ে ইনস্টল করুন; llama-server আপনাকে একটি ওয়েব চ্যাট আর OpenAI- ও Anthropic-সামঞ্জস্যপূর্ণ API দেয় (সার্ভার ডকস)। এটি GGUF ফাইল চালায়, যা সবচেয়ে বেশি প্রকাশিত ফরম্যাট।

mlx-lm

ল্যাঙ্গুয়েজ মডেলের জন্য Apple-এর নিজস্ব MLX টুল, MIT লাইসেন্সে: কমান্ড লাইন থেকে টেক্সট তৈরি, চ্যাট, মডেল কনভার্ট ও কোয়ান্টাইজ করা, আর LoRA দিয়ে ফাইন-টিউন করা (GitHub)। mlx_lm.server একটি সাধারণ OpenAI-ধাঁচের এন্ডপয়েন্ট দেয়, যা এর নির্মাতারা প্রোডাকশনের জন্য সুপারিশ করেন না (সার্ভার ডকস)। Hugging Face-এর mlx-community সংগঠনে হাজার হাজার কনভার্ট করা মডেল আছে।

3কোনটি বেছে নেবেন

• আপনি চান একটি অ্যাপ, ওপেন সোর্স, Apple Silicon-এর জন্য তৈরি: MLX Harness।
• আপনি এক গোছানো অ্যাপে MLX ও GGUF মডেল চান, আর ক্লোজড সোর্সে আপত্তি নেই: LM Studio।
• অন্য কোনো অ্যাপ বা কোডিং এজেন্ট Ollama API আশা করে: Ollama (MLX Harness-ও Ollama-ধাঁচের এন্ডপয়েন্ট দেয়)।
• আপনি Mac, Windows ও Linux জুড়ে একটিই চ্যাট অ্যাপ চান, লোকাল ও ক্লাউড দুটোই: Jan।
• আপনি স্ক্রিপ্ট লেখেন, সার্ভার বানান বা নির্দিষ্ট কোনো GGUF কোয়ান্টাইজেশন দরকার: llama.cpp।
• আপনি ফাইন-টিউন করেন, মডেল কনভার্ট করেন বা Apple-এর রেফারেন্স ইমপ্লিমেন্টেশন চান: mlx-lm।

অনেকে দুটি ব্যবহার করেন: রোজকার চ্যাটের জন্য একটি অ্যাপ আর স্ক্রিপ্টের জন্য একটি কমান্ড লাইন টুল। দুটো একই Mac-এ থাকতে পারে, কিন্তু প্রতিটি মডেল ফাইলের নিজের আলাদা কপি রাখে।

4আগে দেখুন আপনার Mac কতটা ধরতে পারে

কোনো অ্যাপই এই হিসাব বদলায় না: মডেল আর তার কনটেক্সটকে ইউনিফায়েড মেমরির সেই অংশে আঁটতে হবে যা macOS GPU-কে ব্যবহার করতে দেয়, ডিফল্টে প্রায় 75%, আর মেমরি ব্যান্ডউইথ ঠিক করে এটি কত দ্রুত লেখে। একই মডেলের একই প্রিসিশনের MLX ও GGUF ফাইল প্রায় একই আকারের।

আপনার Mac-এ আঁটে এমন সব মডেল দেখুন, প্রতিটি মেমরি সাইজের জন্য সেরা মডেল দেখুন, অথবা একটি মডেল থেকে শুরু করে দেখুন সেটির জন্য কোন Mac লাগে।

5যখন Mac অলস বসে থাকে

যে Mac লোকাল AI ভালো চালায়, সেটি অন্যদের জন্য চালাতেও ভালো। আপনি Mac ব্যবহার না করলে MLX Node আপনার ঠিক করা সীমার মধ্যে MLX Network-এর জন্য AI জব চালায়, আর যাচাই করা কাজের জন্য MLX টোকেন আয় করে। MLX Harness-তে এটি অন্তর্ভুক্ত। MLX টোকেনের দাম কমে যেতে পারে; ঝুঁকি পড়ুন।

6প্রশ্নোত্তর

LM Studio কি কাজের জন্য বিনামূল্যে?

হ্যাঁ। জুলাই 2025 থেকে LM Studio বাড়িতে ও কাজে দুই জায়গাতেই বিনামূল্যে ব্যবহার করা যায়; পেইড প্ল্যানগুলো টিম ও এন্টারপ্রাইজের জন্য (LM Studio)।

Ollama কি Mac-এ MLX ব্যবহার করে?

মার্চ 2026 থেকে প্রিভিউতে, 32 GB-এর বেশি মেমরির Apple Silicon Mac-এ, সমর্থিত মডেলের জন্য। অন্যথায় এটি llama.cpp-এর মাধ্যমে GGUF মডেল চালায় (Ollama)।

কোন অ্যাপ MLX ও GGUF দুই ধরনের মডেলই চালায়?

LM Studio ও Jan দুটোই চালায়; Ollama GGUF চালায় এবং, প্রিভিউতে, MLX-ও। MLX Harness ও mlx-lm শুধু MLX চালায়; llama.cpp শুধু GGUF চালায়।

কোন লোকাল LLM অ্যাপগুলো ওপেন সোর্স?

MLX Harness (Apache 2.0), Ollama (MIT), Jan (Apache 2.0), llama.cpp (MIT) ও mlx-lm (MIT)। LM Studio তার কমান্ড লাইন টুল, SDK ও MLX ইঞ্জিন MIT-এর অধীনে প্রকাশ করে, কিন্তু ডেস্কটপ অ্যাপ নয়।