আপনার Mac-এ LLM ডাউনলোড করে চালান।

1মডেল কোথায় পাবেন

বেশিরভাগ ওপেন-ওয়েট মডেল থাকে Hugging Face-এ। একই মডেল সাধারণত কয়েকটি বিল্ডে আসে, আর ফরম্যাট ঠিক করে কোন অ্যাপ সেটি চালাতে পারবে:

কোন রানটাইম ব্যবহার করবেন নিশ্চিত নন? MLX বনাম Ollama বনাম llama.cpp এগুলোর তুলনা করে। এসব একেবারে নতুন? শুরু করুন আপনার Mac-এ LLM চালানো দিয়ে।

2মেমরিতে ধরে এমন আকার বাছুন

মডেলের ওয়েট মেমরিতে কিছুটা বাড়তি জায়গা রেখে ধরতে হবে। MLX একটি কোয়ান্টাইজড ওয়েট রাখে তার bit-গুলোর সঙ্গে প্রতি 64টি ওয়েটের গ্রুপে একটি শেয়ার করা স্কেল ও বায়াস দিয়ে, অর্থাৎ প্রতি ওয়েটে প্রায় আধা bit বেশি (MLX)। তাই 4-bit-এ প্রতি বিলিয়ন প্যারামিটারে প্রায় 0.56 GB লাগে আর 8-bit-এ প্রায় 1.06 GB।

macOS ডিফল্টভাবে GPU-কে ইউনিফায়েড মেমরির একটি অংশই ব্যবহার করতে দেয়; Compare প্রায় তিন-চতুর্থাংশ ধরে নেয়, আর mlx-lm-এর README দেখায় macOS 15 বা নতুনে sudo sysctl iogpu.wired_limit_mb=N দিয়ে কীভাবে এই সীমা বাড়াবেন (mlx-lm)। mixture-of-experts মডেলে মোট প্যারামিটার ঠিক করে মেমরি, আর সক্রিয় প্যারামিটার ঠিক করে গতি। Compare প্রতিটি জনপ্রিয় মডেল ও প্রতিটি Apple চিপের জন্য এই হিসাব করে, আর লোকাল LLM-এর জন্য সেরা Mac ব্যাখ্যা করে কেন ব্যান্ডউইথই গতি ঠিক করে।

3কোয়ান্টাইজেশন: 4-bit, 8-bit ও বাকিরা

কোয়ান্টাইজেশন প্রতিটি ওয়েট কম bit-এ রাখে, ফলে মডেল কম মেমরি নেয় আর দ্রুত চলে, কিছুটা মানের বিনিময়ে। Mac-এ 4-bit সাধারণ শুরুর জায়গা। 8-bit মূলের আরও কাছাকাছি এবং আকারে দ্বিগুণ। 4 bit-এর নিচে ফাইল ছোট হয়, কিন্তু উত্তর দ্রুত খারাপ হতে থাকে, তাই কেবল তখনই চেষ্টা করুন যখন বড় মডেল অন্যভাবে ধরবে না।

• MLX বিল্ড নামেই তা বলে দেয়: -4bit, -8bit, আর কখনো মিশ্র-প্রিসিশন বিল্ড, যা সংবেদনশীল লেয়ারকে বেশি bit-এ রাখে।
• GGUF ফাইল llama.cpp-এর নাম ব্যবহার করে: Q4_K_M, Q5_K_M, Q8_0 ইত্যাদি। Ollama-তে কোনো ফাইলের নাম না দিয়ে একটি Hugging Face GGUF রিপোজিটরি চালালে, Q4_K_M থাকলে সেটিই নেয় (Hugging Face)।
• নিজের বিল্ড নিজে বানান মূল ওয়েট থেকে: mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q একটি 4-bit কপি লেখে (mlx-lm)।

4ডিস্কের জায়গা আর মডেল কোথায় থাকে

ডাউনলোডের আকার মোটামুটি ওপরের টেবিলের ওয়েটের সমান, তাই 4-bit 8B মডেল কয়েক গিগাবাইট আর 70B মডেল কয়েক ডজন গিগাবাইট। একই মডেলের কয়েকটি আকার বা বিল্ড চেষ্টা করলে জায়গা দ্রুত ভরে যায়।

mlx-lm ও অন্যান্য Hugging Face টুল ডাউনলোড রাখে ~/.cache/huggingface/hub-এ; অন্য জায়গায় সরাতে HF_HOME বা HF_HUB_CACHE সেট করুন। hf cache ls দেখায় সেখানে কী আছে আর hf cache rm একটি মডেল মুছে দেয় (Hugging Face)। Ollama ও LM Studio মডেল রাখে নিজেদের ফোল্ডারে এবং নিজেরাই সামলায়।

5গেটেড মডেল ও Hugging Face টোকেন

কিছু মডেল, Llama-সহ, গেটেড: ডাউনলোডের আগে নির্মাতার শর্ত মেনে নিতে হয় (Hugging Face)।

1. একটি ফ্রি Hugging Face অ্যাকাউন্টে সাইন ইন করে মডেলের পেজ খুলুন।
2. পেজের বোতাম দিয়ে শর্ত মেনে নিন (ডিফল্টভাবে Agree and send request to access repo)। কিছু নির্মাতা অনুরোধ হাতে অনুমোদন করে, তাতে বেশি সময় লাগে।
3. আপনার Hugging Face সেটিংসে একটি অ্যাক্সেস টোকেন তৈরি করুন।
4. টোকেনটি আপনার টুলকে দিন: mlx-lm ও অন্যান্য Hugging Face টুলের জন্য Terminal-এ hf auth login চালান (Hugging Face), অথবা অ্যাপের Hugging Face টোকেন ঘরে পেস্ট করুন।

6চালান: চারটি উপায়

mlx-lm: Terminal-এ Apple-এর MLX

pip দিয়ে ইনস্টল করুন, তারপর Hugging Face-এর যেকোনো MLX মডেলের নাম দিন; প্রথমবার চালালে তা ডাউনলোড হয় (mlx-lm)।

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server অন্য অ্যাপের জন্য localhost:8080-এ OpenAI-ধাঁচের API-তে একটি মডেল চালু রাখে (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: মডেল ব্রাউজারসহ একটি অ্যাপ

LM Studio অ্যাপের ভেতরেই Hugging Face থেকে মডেল খোঁজে ও ডাউনলোড করে, আর Apple Silicon-এ MLX মডেলের পাশাপাশি llama.cpp দিয়ে GGUF-ও চালায়। এর জন্য লাগে Apple Silicon ও macOS 14 বা নতুন, আর এটি 16 GB বা বেশি মেমরির সুপারিশ করে (LM Studio)।

Ollama: একটি কমান্ড

Ollama নিজের লাইব্রেরির মডেল চালায়, আর Hugging Face-এর যেকোনো GGUF রিপোজিটরিও সরাসরি, চাইলে একটি কোয়ান্টাইজেশন ট্যাগসহ (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: আমাদের ফ্রি অ্যাপ

MLX Harness আমাদের ফ্রি Mac অ্যাপ, vMLX-এর ওপর তৈরি: এটি Hugging Face-এ MLX মডেল খোঁজে, চ্যাট করে, টুল ও ইমেজ মডেল চালায়, আর সবকিছু একটি লোকাল API-তে দেয়। এর গেটওয়েও পোর্ট 8080 ব্যবহার করে, তাই একই পোর্টে mlx_lm.server-এর সঙ্গে একসঙ্গে চালাবেন না। Mac ব্যবহার না করার সময় MLX Node সেটিকে MLX Network-এর কাজে লাগাতে পারে।

7প্রশ্নোত্তর

Mac-এর জন্য LLM কোথা থেকে ডাউনলোড করব?

Hugging Face থেকে। MLX বিল্ড খুঁজুন, যার অনেকগুলো mlx-community প্রকাশ করে, অথবা GGUF ফাইল। LM Studio ও Ollama আপনার হয়ে খুঁজে ডাউনলোড করতে পারে।

কোন আকারের মডেল ডাউনলোড করব?

এমন মডেল যার ওয়েট আপনার Mac-এর মেমরিতে স্বচ্ছন্দে ধরে: 4-bit-এ প্রতি বিলিয়ন প্যারামিটারে প্রায় 0.56 GB, অর্থাৎ 8B মডেলের জন্য প্রায় 4.5 GB আর 70B-এর জন্য 39 GB, সঙ্গে কনটেক্সটের জায়গা। mlx.app-এর Compare আপনার Mac-এর জন্য এটি যাচাই করে।

Mac-এ MLX না GGUF?

দুটোই Apple Silicon-এ ভালো চলে। MLX বিল্ড Apple-এর MLX-এর জন্য তৈরি এবং mlx-lm, LM Studio ও MLX Harness-তে চলে; GGUF ফাইল চলে llama.cpp, Ollama ও LM Studio-তে।

Hugging Face অ্যাকাউন্ট কি লাগবে?

প্রকাশ্য মডেলের জন্য না। গেটেড মডেলের জন্য লাগে একটি ফ্রি অ্যাকাউন্ট, মেনে নেওয়া লাইসেন্স আর একটি অ্যাক্সেস টোকেন।

ডাউনলোড করা মডেল কি অফলাইনে চালানো যায়?

হ্যাঁ। ফাইলগুলো আপনার Mac-এ চলে এলে মডেল ইন্টারনেট ছাড়াই চলে, আর আপনার প্রম্পট Mac-এই থাকে।