اجرای DeepSeek V4.1 Flash روی Mac.

1چقدر حافظه لازم دارد

مدل 552 میلیارد پارامتر دارد، اما حدود 189 GiB از دانلود آن دو جدول جست‌وجوی Engram است که برای هر توکن فقط چند ردیف از آن‌ها خوانده می‌شود. موتورهایی که این جدول‌ها را روی SSD می‌گذارند، حافظه‌ای بسیار کمتر از حجم دانلود لازم دارند؛ نسخه‌هایی که همه‌چیز را بارگذاری می‌کنند به کل آن نیاز دارند (antirez در Hugging Face).

برای macOS و کانتکست جا بگذارید: با حدود 890 بایت برای هر توکن، یک گفت‌وگوی 100,000 توکنی کمتر از 0.1 GB اضافه می‌کند، پس تعیین‌کننده وزن‌ها هستند.

2کدام Mac می‌تواند آن را اجرا کند

مدل را روی SSD داخلی Mac نگه دارید: ردیف‌های Engram و وزن‌های استریم‌شده هنگام تولید از دیسک خوانده می‌شوند و درایو خارجی بسیار کندتر است. فضای دانلود را هم در نظر بگیرید: 250 تا 520 GB، به‌علاوهٔ فضای خالی هنگام به هم پیوستن فایل‌ها.

3چقدر سریع اجرا می‌شود

نخستین بنچمارک عمومی روی Mac یک نسخهٔ MLX ترکیبی 4 و 8 بیتی از وزن‌های سپتامبر را روی یک Mac Studio با M3 Ultra و 512 GB اجرا کرد (بنچمارک در GitHub):

این بسیار کمتر از توان سخت‌افزار است. نوشتن برای هر توکن حدود 16 میلیارد پارامتر می‌خواند، یعنی حدود 9 GB در 4 بیت، پس پهنای باند حافظه سقف یک چت را روی M3 Ultra (819 GB/s) حدود 90 توکن در ثانیه و روی M5 Ultra (1.2 TB/s) حدود 130 می‌گذارد. پشتیبانی از معماری جدید فقط چند هفته عمر دارد، پس انتظار داشته باشید موتورهای جدیدتر بخشی از این فاصله را پر کنند؛ اعداد فعلی را در MLX Bench و یادداشت‌های انتشار موتورها مقایسه کنید.

خواندن پرامپت را توان محاسباتی محدود می‌کند، نه حافظه. تراشه‌های نسل M5 در GPU شتاب‌دهندهٔ عصبی دارند و با MLX پرامپت‌ها را چند برابر سریع‌تر از تراشه‌های قبلی می‌خوانند (Apple).

4نحوهٔ اجرا

DwarfStar (ds4): کم‌مصرف‌ترین از نظر حافظه

DwarfStar موتوری متن‌باز است که برای مدل‌های DeepSeek Flash ساخته شده، با پشتیبانی Metal برای Macهای 96 GB به بالا و استریم از SSD برای کوچک‌ترها. در همهٔ حالت‌ها جدول‌های Engram را روی دیسک نگه می‌دارد (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

وقتی Mac حافظهٔ 256 GB یا بیشتر دارد، --ssd-streaming را حذف کنید. ./ds4-server مدل را از طریق یک API محلی ارائه می‌دهد.

llama.cpp: فایل‌های GGUF نسخهٔ 1017

نسخهٔ اصلی llama.cpp و Ollama هنوز از V4.1 Flash پشتیبانی نمی‌کنند. فایل‌های GGUF نسخهٔ 1017 با یک شاخه از llama.cpp ساخته شده‌اند که باید خودتان بیلد کنید؛ توصیه می‌شود جدول‌های Engram سمت CPU بمانند (Hugging Face). این فایل‌ها فعلاً فقط متنی‌اند.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: نسخه‌های 1017 برای Apple Silicon

نسخه‌های جامعهٔ MLX از 1017 دقت اصلی FP4 و FP8 خود DeepSeek را برای بیشتر وزن‌ها حفظ می‌کنند و وزن‌های پیش‌بینی چندتوکنی (multi-token prediction) را هم دارند. از طریق mlx-vlm بارگذاری می‌شوند که تصویر را هم پشتیبانی می‌کند، و LM Studio هم آن‌ها را فهرست می‌کند. به یک Mac با 512 GB نیاز دارند.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

با مدل‌های محلی تازه آشنا شده‌اید؟ با اجرای LLM روی Mac و MLX در برابر Ollama و llama.cpp شروع کنید.

5Mac با 512 GB ندارید؟ گزینه‌های شما

• از API استفاده کنید. DeepSeek برای deepseek-flash به ازای هر میلیون توکن ورودی $0.15 و هر میلیون توکن خروجی $0.60 می‌گیرد؛ DeepSeek V4.1 Flash 1017 را ببینید.
• یک مدل باز کوچک‌تر اجرا کنید. یک Mac با 64 GB مدل‌های ردهٔ 70B را اجرا می‌کند و یک Mac با 128 GB مدل gpt-oss-120b را به‌خوبی: بهترین Mac برای LLM محلی را ببینید.
• Macها را به هم وصل کنید. دو یا چند Mac از طریق Thunderbolt 5 مدل‌هایی را جا می‌دهند که هیچ‌کدام به‌تنهایی جا نمی‌دهد: کلاسترهای هوش مصنوعی Mac را ببینید.
• بگذارید Mac شما درآمد کسب کند. MLX Node روی هر Mac با Apple Silicon کارهای هوش مصنوعی را برای MLX Network اجرا می‌کند و توکن MLX به دست می‌آورد، بدون جایگاه اختصاصی تا 1 MLX در روز. MLX استخراج‌شده 30 روز قفل است و با جایگاه اختصاصی کمتر؛ ریسک‌ها را ببینید.

6پرسش‌ها

برای DeepSeek V4.1 Flash چقدر RAM لازم است؟

حدود 163 GB برای نسخهٔ 2 بیتی DwarfStar با جدول‌های Engram روی SSD، حدود 316 GB برای نسخهٔ 4 بیتی آن، و برای نسخه‌های MLX کل حجم دانلود، 343 تا 432 GB. برای macOS و کانتکست هم جا در نظر بگیرید.

آیا MacBook Pro می‌تواند DeepSeek V4.1 Flash را اجرا کند؟

فقط مدل 128 GB، و فقط با استریم نسخهٔ 2 بیتی از SSD با DwarfStar، که آزمایشی و کند است. روی Mac Studio با 256 یا 512 GB کاملاً در حافظه اجرا می‌شود.

سرعت DeepSeek V4.1 Flash روی M3 Ultra چقدر است؟

نخستین اجرای عمومی روی M3 Ultra با 512 GB، با یک نسخهٔ MLX، حدود 6.5 توکن در ثانیه نوشت و پرامپت‌ها را با حدود 275 توکن در ثانیه خواند. پهنای باند حافظه حدود 90 توکن در ثانیه را ممکن می‌کند، پس نرم‌افزارهای جدیدتر باید سریع‌تر باشند.

آیا نسخهٔ MLX از DeepSeek V4.1 Flash 1017 وجود دارد؟

بله. جامعهٔ MLX نسخه‌های 343 GB و 432 GB از 1017 را منتشر کرده است. این نسخه‌ها با mlx-vlm یا LM Studio روی یک Mac با 512 GB حافظه اجرا می‌شوند.

آیا DeepSeek V4.1 Flash در Ollama کار می‌کند؟

هنوز نه در Ollama استاندارد و نه در llama.cpp استاندارد. فایل‌های GGUF به یک شاخه از llama.cpp نیاز دارند که از سورس ساخته شود، یا می‌توانید از DwarfStar استفاده کنید که این مدل را روی Mac پشتیبانی می‌کند.