Mac पर DeepSeek V4.1 Flash चलाएँ।

1इसे कितनी मेमोरी चाहिए

मॉडल में 552 अरब पैरामीटर हैं, लेकिन इसके डाउनलोड का करीब 189 GiB हिस्सा दो Engram लुकअप टेबल हैं, जिनसे हर टोकन पर कुछ पंक्तियाँ पढ़ी जाती हैं। जो रनटाइम इन टेबल को SSD पर छोड़ते हैं, उन्हें डाउनलोड साइज़ से कहीं कम मेमोरी चाहिए; जो बिल्ड सब कुछ लोड करते हैं, उन्हें पूरी चाहिए (Hugging Face पर antirez)।

macOS और कॉन्टेक्स्ट के लिए जगह छोड़ें: करीब 890 बाइट प्रति टोकन के हिसाब से, 100,000 टोकन की बातचीत 0.1 GB से कम जोड़ती है, इसलिए फ़ैसला वेट ही करते हैं।

2कौन-सा Mac इसे चला सकता है

मॉडल को Mac के अंदरूनी SSD पर रखें: जनरेशन के दौरान Engram पंक्तियाँ और स्ट्रीम होने वाले वेट डिस्क से पढ़े जाते हैं, और बाहरी ड्राइव कहीं ज़्यादा धीमी होती है। डाउनलोड का भी ध्यान रखें: 250 से 520 GB, और फ़ाइलें जोड़ते समय अतिरिक्त खाली जगह।

3यह कितना तेज़ चलता है

Mac पर पहले सार्वजनिक बेंचमार्क में सितंबर वाले वेट का मिला-जुला 4- और 8-bit MLX बिल्ड, 512 GB वाले M3 Ultra Mac Studio पर चलाया गया (GitHub पर बेंचमार्क):

यह हार्डवेयर की क्षमता से बहुत कम है। लिखते समय हर टोकन पर करीब 16 अरब पैरामीटर पढ़े जाते हैं, यानी 4 bit पर करीब 9 GB, इसलिए मेमोरी बैंडविड्थ एक चैट को M3 Ultra (819 GB/s) पर करीब 90 टोकन प्रति सेकंड और M5 Ultra (1.2 TB/s) पर 130 तक सीमित करती है। नए आर्किटेक्चर का सपोर्ट अभी कुछ ही हफ़्ते पुराना है, इसलिए उम्मीद करें कि नए रनटाइम इस अंतर का कुछ हिस्सा भरेंगे; ताज़ा आँकड़े MLX Bench और रनटाइम के रिलीज़ नोट्स में देखें।

प्रॉम्प्ट पढ़ने की सीमा मेमोरी नहीं, कंप्यूट तय करता है। M5 पीढ़ी की चिप के GPU में न्यूरल एक्सेलरेटर हैं, और वे MLX के साथ पिछली चिप से कई गुना तेज़ प्रॉम्प्ट पढ़ती हैं (Apple)।

4इसे कैसे चलाएँ

DwarfStar (ds4): मेमोरी पर सबसे हल्का

DwarfStar एक ओपन-सोर्स इंजन है जो DeepSeek Flash मॉडलों के लिए बना है, जिसमें 96 GB और उससे बड़े Mac के लिए Metal सपोर्ट और छोटे Mac के लिए SSD स्ट्रीमिंग है। यह हर मोड में Engram टेबल डिस्क पर रखता है (GitHub)।

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

जब Mac में 256 GB या उससे ज़्यादा मेमोरी हो, तो --ssd-streaming हटा दें। ./ds4-server मॉडल को लोकल API पर उपलब्ध कराता है।

llama.cpp: 1017 की GGUF फ़ाइलें

मुख्य llama.cpp और Ollama अभी V4.1 Flash को सपोर्ट नहीं करते। 1017 की GGUF फ़ाइलें llama.cpp की एक ब्रांच से बनाई गई हैं, जिसे आपको खुद बिल्ड करना होता है; Engram टेबल को CPU की तरफ़ रखने की सलाह दी गई है (Hugging Face)। फ़िलहाल ये फ़ाइलें सिर्फ़ टेक्स्ट के लिए हैं।

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: Apple Silicon के लिए 1017 बिल्ड

1017 के MLX कम्युनिटी बिल्ड ज़्यादातर वेट के लिए DeepSeek की मूल FP4 और FP8 प्रिसिज़न बनाए रखते हैं और मल्टी-टोकन प्रेडिक्शन वेट भी शामिल करते हैं। ये mlx-vlm से लोड होते हैं, जो इमेज भी संभालता है, और LM Studio में भी दिखते हैं। इनके लिए 512 GB वाला Mac चाहिए।

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

लोकल मॉडल में नए हैं? अपने Mac पर LLM चलाने की गाइड और MLX बनाम Ollama बनाम llama.cpp से शुरुआत करें।

5512 GB वाला Mac नहीं है? आपके विकल्प

• API इस्तेमाल करें। DeepSeek deepseek-flash के लिए प्रति मिलियन इनपुट टोकन $0.15 और प्रति मिलियन आउटपुट टोकन $0.60 लेती है; DeepSeek V4.1 Flash 1017 देखें।
• छोटा ओपन मॉडल चलाएँ। 64 GB वाला Mac 70B क्लास के मॉडल चलाता है और 128 GB वाला Mac gpt-oss-120b अच्छे से चलाता है: लोकल LLM के लिए सबसे अच्छा Mac देखें।
• कई Mac जोड़ें। Thunderbolt 5 से जुड़े दो या ज़्यादा Mac ऐसे मॉडल संभाल सकते हैं जो अकेला कोई Mac नहीं संभाल सकता: Mac AI क्लस्टर देखें।
• अपने Mac को कमाने दें। MLX Node किसी भी Apple Silicon Mac पर MLX Network के लिए AI जॉब चलाता है और MLX टोकन कमाता है, बिना डेडिकेटेड सीट के दिन में 1 MLX तक। माइन किया गया MLX 30 दिन तक लॉक रहता है, डेडिकेटेड सीट के साथ कम; जोखिम देखें।

6सवाल

DeepSeek V4.1 Flash के लिए कितनी RAM चाहिए?

Engram टेबल SSD पर छोड़कर 2-bit DwarfStar बिल्ड के लिए करीब 163 GB, उसके 4-bit बिल्ड के लिए करीब 316 GB, और MLX बिल्ड के लिए पूरा डाउनलोड, यानी 343 से 432 GB। macOS और कॉन्टेक्स्ट के लिए भी जगह रखें।

क्या MacBook Pro पर DeepSeek V4.1 Flash चल सकता है?

सिर्फ़ 128 GB वाले पर, और सिर्फ़ DwarfStar से 2-bit बिल्ड को SSD से स्ट्रीम करके, जो प्रायोगिक और धीमा है। 256 या 512 GB वाले Mac Studio पर यह पूरी तरह मेमोरी में चलता है।

M3 Ultra पर DeepSeek V4.1 Flash कितना तेज़ है?

512 GB वाले M3 Ultra पर पहले सार्वजनिक रन ने, MLX बिल्ड के साथ, करीब 6.5 टोकन प्रति सेकंड लिखे और प्रॉम्प्ट करीब 275 टोकन प्रति सेकंड की रफ़्तार से पढ़े। मेमोरी बैंडविड्थ करीब 90 टोकन प्रति सेकंड तक की गुंजाइश देती है, इसलिए नया सॉफ़्टवेयर ज़्यादा तेज़ होना चाहिए।

क्या DeepSeek V4.1 Flash 1017 का MLX वर्ज़न है?

हाँ। MLX कम्युनिटी ने 1017 के 343 GB और 432 GB के बिल्ड प्रकाशित किए हैं। ये 512 GB मेमोरी वाले Mac पर mlx-vlm या LM Studio से चलते हैं।

क्या DeepSeek V4.1 Flash, Ollama में चलता है?

अभी सामान्य Ollama या llama.cpp में नहीं। GGUF फ़ाइलों के लिए सोर्स से बनी llama.cpp की एक ब्रांच चाहिए, या आप DwarfStar इस्तेमाल कर सकते हैं, जो Mac पर इस मॉडल को सपोर्ट करता है।