Mac پر DeepSeek V4.1 Flash چلائیں۔

1اسے کتنی میموری چاہیے

ماڈل میں 552 ارب پیرامیٹرز ہیں، لیکن اس کے ڈاؤن لوڈ کا تقریباً 189 GiB دو Engram لک اپ ٹیبلز ہیں جن سے فی ٹوکن چند قطاریں پڑھی جاتی ہیں۔ جو رن ٹائمز ان ٹیبلز کو SSD پر چھوڑتے ہیں انہیں ڈاؤن لوڈ سائز سے کہیں کم میموری چاہیے؛ جو بلڈز سب کچھ لوڈ کرتے ہیں انہیں پوری چاہیے (Hugging Face پر antirez)۔

macOS اور کانٹیکسٹ کے لیے جگہ چھوڑیں: تقریباً 890 بائٹس فی ٹوکن کے حساب سے، 100,000 ٹوکنز کی گفتگو 0.1 GB سے کم اضافہ کرتی ہے، اس لیے فیصلہ ویٹس ہی کرتے ہیں۔

2کون سا Mac اسے چلا سکتا ہے

ماڈل کو Mac کے اندرونی SSD پر رکھیں: جنریشن کے دوران Engram قطاریں اور اسٹریم ہونے والے ویٹس ڈسک سے پڑھے جاتے ہیں، اور بیرونی ڈرائیو کہیں زیادہ سست ہے۔ ڈاؤن لوڈ کا بھی حساب رکھیں: 250 سے 520 GB، اور فائلیں جوڑتے وقت اضافی خالی جگہ۔

3یہ کتنا تیز چلتا ہے

Mac پر پہلے پبلک بینچ مارک نے ستمبر کے ویٹس کا 4 اور 8-bit ملا جلا MLX بلڈ، 512 GB والے M3 Ultra Mac Studio پر چلایا (GitHub پر بینچ مارک):

یہ ہارڈویئر کی صلاحیت سے بہت کم ہے۔ لکھتے وقت فی ٹوکن تقریباً 16 ارب پیرامیٹرز پڑھے جاتے ہیں، یعنی 4 bits پر تقریباً 9 GB، اس لیے میموری بینڈوڈتھ ایک چیٹ کو M3 Ultra (819 GB/s) پر تقریباً 90 ٹوکنز فی سیکنڈ اور M5 Ultra (1.2 TB/s) پر 130 تک محدود کرتی ہے۔ نئے آرکیٹیکچر کی سپورٹ کو چند ہفتے ہی ہوئے ہیں، اس لیے توقع رکھیں کہ نئے رن ٹائمز اس فرق کا کچھ حصہ پورا کریں گے؛ تازہ نمبر MLX Bench اور رن ٹائمز کے ریلیز نوٹس میں دیکھیں۔

پرامپٹ پڑھنے کی حد میموری نہیں بلکہ کمپیوٹ طے کرتا ہے۔ M5 نسل کی چپس کے GPU میں نیورل ایکسیلیریٹرز ہیں اور وہ MLX کے ساتھ پرامپٹس پہلے کی چپس سے کئی گنا تیز پڑھتی ہیں (Apple)۔

4اسے کیسے چلائیں

DwarfStar (ds4): میموری پر سب سے ہلکا

DwarfStar ایک اوپن سورس انجن ہے جو DeepSeek Flash ماڈلز کے لیے بنایا گیا ہے، جس میں 96 GB اور اس سے بڑے Mac کے لیے Metal سپورٹ اور چھوٹے Mac کے لیے SSD اسٹریمنگ ہے۔ یہ ہر موڈ میں Engram ٹیبلز ڈسک پر رکھتا ہے (GitHub)۔

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

جب Mac میں 256 GB یا اس سے زیادہ میموری ہو تو --ssd-streaming ہٹا دیں۔ ./ds4-server ماڈل کو لوکل API پر پیش کرتا ہے۔

llama.cpp: 1017 کی GGUF فائلیں

مین لائن llama.cpp اور Ollama ابھی V4.1 Flash کو سپورٹ نہیں کرتے۔ 1017 کی GGUF فائلیں llama.cpp کی ایک برانچ سے بنائی گئی ہیں، جسے آپ خود بلڈ کرتے ہیں؛ Engram ٹیبلز کو CPU کی طرف رکھنے کی سفارش کی گئی ہے (Hugging Face)۔ فی الحال یہ فائلیں صرف ٹیکسٹ کے لیے ہیں۔

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: Apple Silicon کے لیے 1017 بلڈز

1017 کے MLX کمیونٹی بلڈز زیادہ تر ویٹس کے لیے DeepSeek کی اصل FP4 اور FP8 درستگی برقرار رکھتے ہیں اور ملٹی ٹوکن پریڈکشن ویٹس بھی شامل کرتے ہیں۔ یہ mlx-vlm کے ذریعے لوڈ ہوتے ہیں، جو تصاویر بھی سنبھالتا ہے، اور LM Studio بھی انہیں دکھاتا ہے۔ انہیں 512 GB والا Mac چاہیے۔

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

لوکل ماڈلز میں نئے ہیں؟ شروعات اپنے Mac پر LLM چلانے کی گائیڈ اور MLX بمقابلہ Ollama بمقابلہ llama.cpp سے کریں۔

5512 GB والا Mac نہیں؟ آپ کے آپشنز

• API استعمال کریں۔ DeepSeek، deepseek-flash کے لیے فی ملین ان پٹ ٹوکنز $0.15 اور فی ملین آؤٹ پٹ ٹوکنز $0.60 لیتی ہے؛ DeepSeek V4.1 Flash 1017 دیکھیں۔
• چھوٹا اوپن ماڈل چلائیں۔ 64 GB والا Mac 70B کلاس کے ماڈلز چلاتا ہے اور 128 GB والا Mac gpt-oss-120b اچھی طرح چلاتا ہے: لوکل LLMs کے لیے بہترین Mac دیکھیں۔
• Mac کو آپس میں جوڑیں۔ Thunderbolt 5 پر جڑے دو یا زیادہ Mac ایسے ماڈلز سنبھال سکتے ہیں جو اکیلا کوئی Mac نہیں سنبھال سکتا: Mac AI کلسٹرز دیکھیں۔
• اپنے Mac کو کمانے دیں۔ MLX Node کسی بھی Apple Silicon Mac پر MLX Network کے لیے AI کام چلاتا ہے اور MLX ٹوکن کماتا ہے، بغیر مخصوص سیٹ کے روزانہ 1 MLX تک۔ مائن کیا گیا MLX 30 دن کے لیے لاک رہتا ہے، مخصوص سیٹ کے ساتھ کم؛ خطرات دیکھیں۔

6سوالات

DeepSeek V4.1 Flash کے لیے کتنی RAM چاہیے؟

Engram ٹیبلز SSD پر چھوڑ کر 2-bit DwarfStar بلڈ کے لیے تقریباً 163 GB، اس کے 4-bit بلڈ کے لیے تقریباً 316 GB، اور MLX بلڈز کے لیے پورا ڈاؤن لوڈ، یعنی 343 سے 432 GB۔ macOS اور کانٹیکسٹ کے لیے بھی جگہ رکھیں۔

کیا MacBook Pro پر DeepSeek V4.1 Flash چل سکتا ہے؟

صرف 128 GB والے پر، اور صرف DwarfStar کے ساتھ 2-bit بلڈ کو SSD سے اسٹریم کر کے، جو تجرباتی اور سست ہے۔ 256 یا 512 GB والے Mac Studio پر یہ مکمل طور پر میموری میں چلتا ہے۔

M3 Ultra پر DeepSeek V4.1 Flash کتنا تیز ہے؟

512 GB والے M3 Ultra پر پہلے پبلک رن نے، MLX بلڈ کے ساتھ، تقریباً 6.5 ٹوکنز فی سیکنڈ لکھے اور پرامپٹس تقریباً 275 ٹوکنز فی سیکنڈ کی رفتار سے پڑھے۔ میموری بینڈوڈتھ تقریباً 90 ٹوکنز فی سیکنڈ کی گنجائش دیتی ہے، اس لیے نیا سافٹ ویئر زیادہ تیز ہونا چاہیے۔

کیا DeepSeek V4.1 Flash 1017 کا MLX ورژن موجود ہے؟

ہاں۔ MLX کمیونٹی نے 1017 کے 343 GB اور 432 GB کے بلڈز شائع کیے ہیں۔ یہ 512 GB میموری والے Mac پر mlx-vlm یا LM Studio کے ساتھ چلتے ہیں۔

کیا DeepSeek V4.1 Flash، Ollama میں چلتا ہے؟

ابھی عام Ollama یا llama.cpp میں نہیں۔ GGUF فائلوں کے لیے سورس سے بنی llama.cpp کی ایک برانچ چاہیے، یا آپ DwarfStar استعمال کر سکتے ہیں، جو Mac پر اس ماڈل کو سپورٹ کرتا ہے۔