Mac-এ DeepSeek V4.1 Flash চালান।

1কত মেমরি লাগে

মডেলটির 552 বিলিয়ন প্যারামিটার, কিন্তু ডাউনলোডের প্রায় 189 GiB হলো দুটি Engram লুকআপ টেবিল, যেগুলো থেকে প্রতি টোকেনে কয়েকটি সারি পড়া হয়। যে রানটাইম এই টেবিল SSD-তে রেখে দেয়, তার মেমরি লাগে ডাউনলোডের আকারের চেয়ে অনেক কম; যে বিল্ড সবকিছু লোড করে, তার লাগে পুরোটাই (Hugging Face-এ antirez)।

macOS ও কনটেক্সটের জন্য জায়গা রাখুন: প্রতি টোকেনে প্রায় 890 বাইট হিসেবে 100,000 টোকেনের একটি কথোপকথন যোগ করে 0.1 GB-এর কম, তাই আসল নির্ধারক হলো ওয়েট।

2কোন Mac এটি চালাতে পারে

মডেলটি Mac-এর ভেতরের SSD-তে রাখুন: জেনারেশনের সময় Engram সারি ও স্ট্রিম করা ওয়েট ডিস্ক থেকে পড়া হয়, আর এক্সটার্নাল ড্রাইভ অনেক ধীর। ডাউনলোডের জন্যও পরিকল্পনা করুন: 250 থেকে 520 GB, সঙ্গে ফাইল জোড়া লাগানোর সময় বাড়তি খালি জায়গা।

3কত দ্রুত চলে

Mac-এ প্রথম প্রকাশ্য বেঞ্চমার্কে সেপ্টেম্বরের ওয়েটের একটি মিশ্র 4- ও 8-bit MLX বিল্ড চালানো হয় 512 GB-এর M3 Ultra Mac Studio-তে (GitHub-এ বেঞ্চমার্ক):

এটি হার্ডওয়্যারের সক্ষমতার চেয়ে অনেক কম। লেখার সময় প্রতি টোকেনে প্রায় 16 বিলিয়ন প্যারামিটার পড়া হয়, 4 bit-এ প্রায় 9 GB, তাই মেমরি ব্যান্ডউইথ একটি চ্যাটকে M3 Ultra-তে (819 GB/s) প্রতি সেকেন্ডে প্রায় 90 টোকেন আর M5 Ultra-তে (1.2 TB/s) 130-এ সীমিত রাখে। নতুন আর্কিটেকচারের সাপোর্ট মাত্র কয়েক সপ্তাহের পুরোনো, তাই নতুন রানটাইম এই ব্যবধানের কিছুটা কমাবে বলে আশা করুন; হালনাগাদ সংখ্যা মিলিয়ে নিন MLX Bench-এ ও রানটাইমগুলোর রিলিজ নোটে।

প্রম্পট পড়ার সীমা ঠিক করে কম্পিউট, মেমরি নয়। M5 প্রজন্মের চিপের GPU-তে নিউরাল অ্যাক্সিলারেটর আছে, আর MLX দিয়ে এগুলো আগের চিপের চেয়ে কয়েক গুণ দ্রুত প্রম্পট পড়ে (Apple)।

4কীভাবে চালাবেন

DwarfStar (ds4): মেমরিতে সবচেয়ে হালকা

DwarfStar হলো DeepSeek Flash মডেলের জন্য তৈরি একটি ওপেন-সোর্স ইঞ্জিন, যাতে 96 GB ও তার বড় Mac-এর জন্য Metal সাপোর্ট আর ছোট Mac-এর জন্য SSD স্ট্রিমিং আছে। সব মোডেই এটি Engram টেবিল ডিস্কে রাখে (GitHub)।

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Mac-এ 256 GB বা তার বেশি মেমরি থাকলে --ssd-streaming বাদ দিন। ./ds4-server মডেলটিকে একটি লোকাল API হিসেবে চালু করে।

llama.cpp: 1017-এর GGUF ফাইল

মূল llama.cpp ও Ollama এখনো V4.1 Flash সাপোর্ট করে না। 1017-এর GGUF ফাইল তৈরি হয়েছে llama.cpp-এর একটি ব্রাঞ্চ দিয়ে, যা আপনাকে নিজে বিল্ড করতে হয়; Engram টেবিল CPU-এর দিকে রাখার পরামর্শ দেওয়া হয়েছে (Hugging Face)। ফাইলগুলো আপাতত শুধু টেক্সটের জন্য।

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: Apple Silicon-এর জন্য 1017 বিল্ড

1017-এর MLX কমিউনিটি বিল্ড বেশিরভাগ ওয়েটে DeepSeek-এর মূল FP4 ও FP8 প্রিসিশন ধরে রাখে এবং মাল্টি-টোকেন প্রেডিকশন ওয়েটও রাখে। এগুলো লোড হয় mlx-vlm দিয়ে, যা ছবিও সামলায়, আর LM Studio-তেও তালিকায় আছে। এগুলোর জন্য 512 GB-এর Mac দরকার।

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

লোকাল মডেলে নতুন? শুরু করুন আপনার Mac-এ LLM চালানো ও MLX বনাম Ollama বনাম llama.cpp দিয়ে।

5512 GB-এর Mac নেই? আপনার বিকল্প

• API ব্যবহার করুন। deepseek-flash-এর জন্য DeepSeek প্রতি মিলিয়ন ইনপুট টোকেনে $0.15 এবং প্রতি মিলিয়ন আউটপুট টোকেনে $0.60 নেয়; দেখুন DeepSeek V4.1 Flash 1017।
• ছোট ওপেন মডেল চালান। 64 GB-এর Mac 70B শ্রেণির মডেল চালায় আর 128 GB-এর Mac gpt-oss-120b ভালোভাবে চালায়: দেখুন লোকাল LLM-এর জন্য সেরা Mac।
• কয়েকটি Mac জুড়ে নিন। Thunderbolt 5 দিয়ে যুক্ত দুই বা তার বেশি Mac এমন মডেল ধরতে পারে, যা একটি Mac একা পারে না: দেখুন Mac AI ক্লাস্টার।
• আপনার Mac-কে আয় করতে দিন। MLX Node যেকোনো Apple Silicon Mac-এ MLX Network-এর জন্য AI জব চালায় এবং MLX টোকেন আয় করে, ডেডিকেটেড সিট ছাড়া দিনে সর্বোচ্চ 1 MLX। মাইন করা MLX 30 দিন লক থাকে, ডেডিকেটেড সিটসহ আরও কম; দেখুন ঝুঁকি।

6প্রশ্নোত্তর

DeepSeek V4.1 Flash-এর জন্য কত RAM লাগে?

Engram টেবিল SSD-তে রেখে 2-bit DwarfStar বিল্ডের জন্য প্রায় 163 GB, এর 4-bit বিল্ডের জন্য প্রায় 316 GB, আর MLX বিল্ডের জন্য পুরো ডাউনলোড, অর্থাৎ 343 থেকে 432 GB। macOS ও কনটেক্সটের জন্যও জায়গা রাখুন।

MacBook Pro-তে কি DeepSeek V4.1 Flash চলে?

শুধু 128 GB-এর মডেলে, আর শুধু DwarfStar দিয়ে SSD থেকে 2-bit বিল্ড স্ট্রিম করে, যা পরীক্ষামূলক ও ধীর। 256 বা 512 GB-এর Mac Studio-তে এটি পুরোটা মেমরিতে চলে।

M3 Ultra-তে DeepSeek V4.1 Flash কত দ্রুত?

512 GB-এর M3 Ultra-তে প্রথম প্রকাশ্য রান, একটি MLX বিল্ড দিয়ে, প্রতি সেকেন্ডে প্রায় 6.5 টোকেন লিখেছে আর প্রতি সেকেন্ডে প্রায় 275 টোকেন হারে প্রম্পট পড়েছে। মেমরি ব্যান্ডউইথ প্রতি সেকেন্ডে প্রায় 90 টোকেন পর্যন্ত সুযোগ দেয়, তাই নতুন সফটওয়্যার আরও দ্রুত হওয়ার কথা।

DeepSeek V4.1 Flash 1017-এর কি MLX সংস্করণ আছে?

হ্যাঁ। MLX কমিউনিটি 1017-এর 343 GB ও 432 GB-এর বিল্ড প্রকাশ করেছে। এগুলো 512 GB মেমরির Mac-এ mlx-vlm বা LM Studio দিয়ে চলে।

DeepSeek V4.1 Flash কি Ollama-তে চলে?

সাধারণ Ollama বা llama.cpp-এ এখনো না। GGUF ফাইলের জন্য সোর্স থেকে বিল্ড করা llama.cpp-এর একটি ব্রাঞ্চ লাগে, অথবা DwarfStar ব্যবহার করতে পারেন, যা Mac-এ এই মডেল সাপোর্ট করে।