Mac वर DeepSeek V4.1 Flash चालवा.

1किती मेमरी लागते

मॉडेलमध्ये 552 अब्ज पॅरामीटर आहेत, पण डाउनलोडपैकी सुमारे 189 GiB दोन Engram लुकअप टेबल आहेत, ज्यांच्या प्रति टोकन फक्त काही ओळी वाचल्या जातात. ही टेबल SSD वर ठेवणाऱ्या रनटाइमना डाउनलोड आकारापेक्षा खूप कमी मेमरी लागते; सगळे लोड करणाऱ्या बिल्डना ती सगळी लागते (Hugging Face वर antirez).

macOS आणि कॉन्टेक्स्टसाठी जागा ठेवा: प्रति टोकन सुमारे 890 बाइट असल्याने 100,000 टोकनचा संवाद 0.1 GB पेक्षा कमीच भर घालतो, त्यामुळे निर्णय वेटच ठरवतात.

2कोणता Mac ते चालवू शकतो

मॉडेल Mac च्या अंतर्गत SSD वर ठेवा: जनरेशनदरम्यान Engram च्या ओळी आणि स्ट्रीम होणारे वेट डिस्कवरून वाचले जातात, आणि बाह्य ड्राइव्ह खूप हळू असतो. डाउनलोडचेही नियोजन करा: 250 ते 520 GB, आणि फाइल जोडताना लागणारी मोकळी जागा.

3ते किती वेगाने चालते

Mac वरील पहिल्या सार्वजनिक बेंचमार्कमध्ये सप्टेंबरच्या वेटचे मिश्र 4- आणि 8-बिट MLX बिल्ड 512 GB असलेल्या M3 Ultra Mac Studio वर चालवले गेले (GitHub वरील बेंचमार्क):

हार्डवेअर जेवढे देऊ शकते त्यापेक्षा हे खूप कमी आहे. लिहिताना प्रति टोकन सुमारे 16 अब्ज पॅरामीटर, म्हणजे 4 बिटवर सुमारे 9 GB, वाचले जातात; त्यामुळे मेमरी बँडविड्थ एका चॅटला M3 Ultra (819 GB/s) वर सेकंदाला अंदाजे 90 टोकन आणि M5 Ultra (1.2 TB/s) वर 130 पर्यंत मर्यादित करते. नव्या आर्किटेक्चरचा सपोर्ट काही आठवड्यांचाच आहे, त्यामुळे नवे रनटाइम ही दरी काही प्रमाणात भरून काढतील अशी अपेक्षा आहे; सध्याचे आकडे MLX Bench वर आणि रनटाइमच्या रिलीज नोट्समध्ये तुलना करा.

प्रॉम्प्ट वाचणे मेमरीने नव्हे तर कंप्युटने मर्यादित असते. M5 पिढीच्या चिपच्या GPU मध्ये न्यूरल ॲक्सिलरेटर आहेत आणि MLX सोबत त्या आधीच्या चिपपेक्षा कितीतरी पट वेगाने प्रॉम्प्ट वाचतात (Apple).

4ते कसे चालवावे

DwarfStar (ds4): मेमरीवर सर्वात हलके

DwarfStar हे DeepSeek Flash मॉडेलसाठी बनवलेले ओपन-सोर्स इंजिन आहे, ज्यात 96 GB पासूनच्या Mac साठी Metal सपोर्ट आणि लहान Mac साठी SSD स्ट्रीमिंग आहे. प्रत्येक मोडमध्ये ते Engram टेबल डिस्कवरच ठेवते (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Mac मध्ये 256 GB किंवा जास्त असल्यास --ssd-streaming काढून टाका. ./ds4-server मॉडेल लोकल API वर उपलब्ध करून देते.

llama.cpp: 1017 च्या GGUF फाइल

मुख्य llama.cpp आणि Ollama अजून V4.1 Flash ला सपोर्ट करत नाहीत. 1017 च्या GGUF फाइल llama.cpp च्या एका ब्रँचने बनवल्या आहेत, जी तुम्हाला स्वतः बिल्ड करावी लागते; Engram टेबल CPU बाजूला ठेवण्याची शिफारस आहे (Hugging Face). सध्या या फाइल फक्त मजकुरासाठी आहेत.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: Apple Silicon साठी 1017 बिल्ड

1017 चे MLX कम्युनिटी बिल्ड बहुतेक वेटसाठी DeepSeek ची मूळ FP4 आणि FP8 अचूकता कायम ठेवतात, आणि त्यात मल्टी-टोकन प्रेडिक्शन वेटही आहेत. ते mlx-vlm मधून लोड होतात, जे चित्रेही हाताळते, आणि LM Studio मध्येही ते दिसतात. त्यांना 512 GB चा Mac लागतो.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

लोकल मॉडेलसाठी नवीन आहात? तुमच्या Mac वर LLM चालवण्यापासून आणि MLX vs Ollama vs llama.cpp पासून सुरुवात करा.

5512 GB चा Mac नाही? तुमचे पर्याय

• API वापरा. deepseek-flash साठी DeepSeek प्रति दशलक्ष इनपुट टोकन $0.15 आणि प्रति दशलक्ष आउटपुट टोकन $0.60 घेते; DeepSeek V4.1 Flash 1017 पाहा.
• लहान ओपन मॉडेल चालवा. 64 GB चा Mac 70B वर्गाची मॉडेल आणि 128 GB चा Mac gpt-oss-120b छान चालवतो: लोकल LLM साठी सर्वोत्तम Mac पाहा.
• Mac एकत्र जोडा. Thunderbolt 5 ने जोडलेले दोन किंवा जास्त Mac अशी मॉडेल सामावू शकतात जी एकटा Mac सामावू शकत नाही: Mac AI क्लस्टर पाहा.
• तुमच्या Mac ला कमवू द्या. MLX Node कोणत्याही Apple Silicon Mac वर MLX Network साठी AI जॉब चालवते आणि MLX टोकन कमावते, समर्पित सीट शिवाय दिवसाला 1 MLX पर्यंत. माइन केलेले MLX 30 दिवस लॉक राहते, समर्पित सीटसह त्याहून कमी; जोखीम पाहा.

6प्रश्न

DeepSeek V4.1 Flash साठी किती RAM लागते?

Engram टेबल SSD वर ठेवल्यास 2-बिट DwarfStar बिल्डसाठी सुमारे 163 GB, त्याच्या 4-बिट बिल्डसाठी सुमारे 316 GB, आणि MLX बिल्डसाठी संपूर्ण डाउनलोड, म्हणजे 343 ते 432 GB. macOS आणि कॉन्टेक्स्टसाठी जागा जोडा.

MacBook Pro वर DeepSeek V4.1 Flash चालते का?

फक्त 128 GB च्या मॉडेलवर, आणि तेही DwarfStar ने 2-बिट बिल्ड SSD वरून स्ट्रीम करूनच; ही पद्धत प्रायोगिक आणि हळू आहे. 256 किंवा 512 GB च्या Mac Studio वर ते पूर्णपणे मेमरीत चालते.

M3 Ultra वर DeepSeek V4.1 Flash किती वेगवान आहे?

512 GB च्या M3 Ultra वर MLX बिल्डसह झालेल्या पहिल्या सार्वजनिक रनने सेकंदाला सुमारे 6.5 टोकन लिहिले आणि प्रॉम्प्ट सेकंदाला सुमारे 275 टोकन वेगाने वाचले. मेमरी बँडविड्थ सेकंदाला सुमारे 90 टोकनपर्यंत परवानगी देते, त्यामुळे नवे सॉफ्टवेअर अधिक वेगवान असायला हवे.

DeepSeek V4.1 Flash 1017 ची MLX आवृत्ती आहे का?

हो. MLX कम्युनिटीने 343 GB आणि 432 GB चे 1017 बिल्ड प्रसिद्ध केले आहेत. ते 512 GB मेमरी असलेल्या Mac वर mlx-vlm किंवा LM Studio ने चालतात.

DeepSeek V4.1 Flash Ollama मध्ये चालते का?

सामान्य Ollama किंवा llama.cpp मध्ये अजून नाही. GGUF फाइलसाठी सोर्सवरून बिल्ड केलेली llama.cpp ची ब्रँच लागते, किंवा तुम्ही DwarfStar वापरू शकता, जे Mac वर हे मॉडेल सपोर्ट करते.