লোকাল LLM-এর জন্য সেরা Mac।

1মেমরি আর ব্যান্ডউইথই কেন সব ঠিক করে

ল্যাঙ্গুয়েজ মডেল একবারে একটি করে টোকেন লেখে, আর প্রতিটির জন্য মেমরি থেকে প্রতিটি সক্রিয় ওয়েট পড়ে। তাই একটি কথোপকথনের গতির সীমা মোটামুটি মেমরি ব্যান্ডউইথকে সক্রিয় ওয়েটের আকার দিয়ে ভাগ করলে যা হয়। llama.cpp-এর প্রকাশ্য বেঞ্চমার্কে Apple চিপে আসল জেনারেশন সেই সীমার 43% থেকে 80% পর্যন্ত পৌঁছায় (llama.cpp)।

আপনার প্রম্পট পড়া আলাদা ব্যাপার: সেই অংশ সীমিত হয় কম্পিউটে, তাই GPU-তে নিউরাল অ্যাক্সেলারেটরসহ M5 প্রজন্মের চিপ আগের চিপের চেয়ে কয়েক গুণ দ্রুত প্রম্পট প্রসেস করে (Apple)।

2প্রতিটি চিপ, তুলনায়

পুরোনো চিপেও যথেষ্ট মেমরি থাকলে ভালো কাজ হয়। 64 GB-এর M1 Max বা M2 Max পড়ে 400 GB/s গতিতে, যা আজকের যেকোনো বেস চিপের চেয়ে বেশি, আর সেকেন্ড-হ্যান্ডে প্রায়ই অনেক কম দামে মেলে।

3কোন Mac কিনবেন

শুধু চেষ্টা করে দেখতে: 16 থেকে 32 GB-এর MacBook Air বা Mac mini

7B থেকে 14B মডেল স্বচ্ছন্দে চালায়, আর 32 GB-তে 30B শ্রেণির মডেল। চ্যাট, লেখালেখি আর হালকা কোডিং সহায়তার জন্য ঠিকঠাক।

সেরা মূল্য: 64 GB-সহ Pro চিপ

M4 Pro বা M5 Pro-সহ Mac mini বা MacBook Pro 70B শ্রেণির মডেল ধরে আর মাঝারি আকারের মডেল ভালো গতিতে চালায়। বেশিরভাগ ডেভেলপারের জন্য আদর্শ।

গুরুতর লোকাল AI: 128 GB-সহ Max চিপ

ল্যাপটপেই gpt-oss-120b (4-bit-এ প্রায় 65 GB) চালায়; Apple-এর ব্যান্ডউইথের হিসাব থেকে M5 Max-এ একটি স্ট্রিমের তাত্ত্বিক সীমা প্রতি সেকেন্ডে প্রায় 225 টোকেন। বহনযোগ্যদের মধ্যে সেরা।

সবচেয়ে বড় মডেল: Ultra-সহ Mac Studio

M5 Ultra-তে 1.2 TB/s গতিতে সর্বোচ্চ 512 GB, যা একটি ডেস্কেই শত শত বিলিয়ন প্যারামিটারের মডেল ধরে। এর চেয়েও বড় মডেলের জন্য Thunderbolt 5 দিয়ে কয়েকটি Mac জুড়ে ক্লাস্টার বানানো যায়: দেখুন Mac AI ক্লাস্টার।

4Mac-কে নিজের খরচ তুলতে দিন

AI-এর জন্য কেনা Mac বেশিরভাগ সময় অপেক্ষাতেই কাটায়। MLX Node একটি বিনামূল্যের অ্যাপ, যা সেই অব্যবহৃত ক্ষমতা MLX Network-কে দেয়, একই MLX ফ্রেমওয়ার্কে AI জব চালায় এবং যাচাই করা কাজের জন্য MLX টোকেন আয় করে। চিপের সঙ্গে মানানসই একটি ডেডিকেটেড সিট আয় বহুগুণ বাড়ায়: Pro সিট পুরো হারে চলে Pro বা Max চিপে, Ultra সিট Ultra চিপে।

আগে MLX Bench-এ আপনার Mac তুলনা করে নিন: এটি প্রতিটি চিপে ওপেন মডেলের মাপা প্রতি সেকেন্ডে টোকেন দেখায়।

5প্রশ্নোত্তর

লোকাল LLM-এর জন্য 16 GB কি যথেষ্ট?

4-bit-এ প্রায় 14B প্যারামিটার পর্যন্ত মডেলের জন্য হ্যাঁ। বড় মডেল বা লম্বা কনটেক্সটের জন্য 32 GB বা তার বেশি অনেক বেশি স্বচ্ছন্দ।

LLM-এর জন্য Mac Studio না MacBook Pro?

দুটিতেই Max চিপ আর সর্বোচ্চ 128 GB পাওয়া যায়। MacBook Pro বহনযোগ্য; Mac Studio দীর্ঘ লোডে ঠান্ডা থাকে, আর Ultra চিপ ও সর্বোচ্চ 512 GB শুধু এতেই আছে।

লোকাল AI-এর জন্য Mac কি Nvidia GPU-র চেয়ে ভালো?

বাড়িতে সবচেয়ে বড় মডেলের জন্য, প্রায়ই হ্যাঁ: Mac-এর ইউনিফায়েড মেমরি একটি কনজিউমার গ্রাফিক্স কার্ডের মেমরির চেয়ে অনেক বেশি ধরতে পারে। যে মডেল হাই-এন্ড Nvidia কার্ডের মেমরিতে ধরে, তাতে সেই কার্ড বেশি দ্রুত।

M5 কি LLM দ্রুত করে?

হ্যাঁ, মূলত প্রম্পট পড়ায়: Apple-এর মাপে MLX-এ M5-এ প্রথম টোকেন M4-এর চেয়ে 3.3 থেকে 4.1 গুণ আগে এসেছে। জেনারেশনের গতি বাড়ে মেমরি ব্যান্ডউইথের সঙ্গে, যা M4 থেকে M5-এ 28% বেড়েছে।