আপনার Mac-এ LLM চালান।

1আপনার Mac-এ কী ধরবে

মডেলের ওয়েট মেমরিতে ধরতে হবে, সঙ্গে কনটেক্সট ও macOS-এর জন্য বাড়তি জায়গা রাখতে হবে। প্রতি ওয়েটে 4 bit হলে, প্রতি বিলিয়ন প্যারামিটারে প্রায় 0.55 থেকে 0.6 GB ধরুন।

গতি আলাদা প্রশ্ন: প্রতিটি নতুন টোকেনের জন্য সক্রিয় ওয়েট একবার মেমরি থেকে পড়তে হয়, তাই প্রতি সেকেন্ডে টোকেন বাড়ে মেমরি ব্যান্ডউইথের সঙ্গে। লোকাল LLM-এর জন্য সেরা Mac নিয়ে আমাদের গাইডে প্রতিটি চিপের কথা আছে।

2সহজ উপায়: LM Studio

LM Studio চ্যাট উইন্ডো আর মডেল ব্রাউজারসহ একটি বিনামূল্যের Mac অ্যাপ। Apple Silicon-এ এটি Apple-এর MLX ফরম্যাটের মডেলের পাশাপাশি llama.cpp-এর GGUF ফরম্যাটের মডেলও চালাতে পারে।

1. LM Studio ডাউনলোড করে খুলুন।
2. একটি মডেল খুঁজুন, Apple Silicon-এ MLX সংস্করণ বেছে নিন, আর আপনার মেমরিতে ধরে এমন আকার নিন।
3. লোড করে চ্যাট শুরু করুন। অন্য অ্যাপের জন্য এর লোকাল সার্ভারও চালু করতে পারেন।

3এক কমান্ডে: Ollama

Ollama টার্মিনাল থেকে মডেল চালায় এবং আপনার Mac-এর অন্য অ্যাপকে সেগুলো সরবরাহ করে। ইনস্টলের পর একটি কমান্ডেই মডেল ডাউনলোড হয়ে চালু হয়:

ollama run llama3.2

সংস্করণ 0.19 থেকে Apple Silicon-এ Ollama-র একটি প্রিভিউ আছে, যা সমর্থিত মডেলে Apple-এর MLX ফ্রেমওয়ার্কে চলে এবং গতি অনেক বাড়ায়; এই প্রিভিউয়ের জন্য 32 GB-এর বেশি মেমরির Mac লাগে (Ollama)।

4সবচেয়ে দ্রুত উপায়: Apple-এর MLX ও mlx-lm

MLX হলো Apple Silicon-এর জন্য Apple-এর ওপেন-সোর্স মেশিন লার্নিং ফ্রেমওয়ার্ক, আর mlx-lm হলো ল্যাঙ্গুয়েজ মডেলের জন্য এর প্যাকেজ। Hugging Face-এর mlx-community সংগঠনে হাজার হাজার মডেল ব্যবহারের জন্য তৈরি।

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

টার্মিনালে কথোপকথনের জন্য mlx_lm.chat আর অন্য অ্যাপ কল করতে পারে এমন লোকাল API-র জন্য mlx_lm.server ব্যবহার করুন। M5 চিপে MLX ব্যবহার করে GPU-র নতুন নিউরাল অ্যাক্সেলারেটর: Apple-এর মাপে প্রথম টোকেন M4-এর চেয়ে 3.3 থেকে 4.1 গুণ আগে এসেছে (Apple Machine Learning Research)।

5মাপুন, তারপর কাজে লাগান

MLX Bench হলো প্রতিটি Apple Silicon চিপে MLX-এর গতির উন্মুক্ত লিডারবোর্ড: জেনারেশন ও প্রম্পটের প্রতি সেকেন্ডে টোকেন এবং সর্বোচ্চ মেমরি। আপনার Mac-এ এক ফাইলের স্ক্রিপ্টটি চালান আর দেখুন কোথায় দাঁড়ায়।

Mac যখন ব্যবহার করছেন না, তখন এটি অন্যদের জন্য AI চালাতে পারে। MLX Node একটি বিনামূল্যের অ্যাপ, যা একই MLX ফ্রেমওয়ার্কে MLX Network-এর জন্য AI জব চালায় এবং যাচাই করা কাজের জন্য MLX টোকেন আয় করে, আপনার ঠিক করা সীমার মধ্যে।

6প্রশ্নোত্তর

MacBook Air কি LLM চালাতে পারে?

হ্যাঁ। 16 GB-এর MacBook Air 4-bit-এ 7B থেকে 14B মডেল স্বচ্ছন্দে চালায়; 32 GB হলে প্রায় 30B পর্যন্ত মডেল। Pro বা Max চিপের Mac-এর চেয়ে এটি ধীর হবে, কারণ সেগুলোর মেমরি ব্যান্ডউইথ বেশি।

Mac-এ MLX কি Ollama-র চেয়ে দ্রুত?

প্রায়ই, কারণ MLX লেখা হয়েছে Apple Silicon-এর জন্যই। Ollama-র নিজস্ব MLX-চালিত প্রিভিউ Apple Silicon-এ বড় গতিবৃদ্ধির কথা জানায়। আমাদের MLX vs Ollama গাইডে বিস্তারিত তুলনা আছে।

লোকাল মডেল কি অফলাইনে চলে?

হ্যাঁ। একবার ডাউনলোড হলে মডেল পুরোপুরি আপনার Mac-এ চলে, আর আপনার প্রম্পট কখনো Mac-এর বাইরে যায় না।

70B মডেলের জন্য কত মেমরি লাগে?

4-bit-এ শুধু ওয়েটের জন্যই প্রায় 40 GB, তাই 64 GB বা তার বেশি মেমরির Mac। একই মানের mixture-of-experts মডেলে বেশি মেমরি লাগতে পারে, তবে সেগুলো দ্রুত চলে।