Mac પર DeepSeek V4.1 Flash ચલાવો.

1કેટલી મેમરી જોઈએ

મૉડલમાં 552 અબજ પેરામીટર છે, પણ તેના ડાઉનલોડમાંથી આશરે 189 GiB બે Engram લુકઅપ ટેબલ છે, જેની દરેક ટોકને થોડી જ હરોળ વંચાય છે. આ ટેબલ SSD પર રાખતા રનટાઇમને ડાઉનલોડના કદ કરતાં ઘણી ઓછી મેમરી જોઈએ; બધું લોડ કરતાં બિલ્ડને તે આખી જોઈએ (Hugging Face પર antirez).

macOS અને કૉન્ટેક્સ્ટ માટે જગ્યા રાખો: દરેક ટોકને આશરે 890 બાઇટ હોવાથી 100,000 ટોકનની વાતચીત 0.1 GBથી ઓછું ઉમેરે છે, એટલે નિર્ણય વેઇટ જ કરે છે.

2કયું Mac તેને ચલાવી શકે

મૉડલ Macના આંતરિક SSD પર રાખો: જનરેશન દરમિયાન Engramની હરોળ અને સ્ટ્રીમ થતા વેઇટ ડિસ્ક પરથી વંચાય છે, અને બહારની ડ્રાઇવ ઘણી ધીમી છે. ડાઉનલોડનું પણ આયોજન કરો: 250 થી 520 GB, ઉપરાંત ફાઇલો જોડતી વખતે ખાલી જગ્યા.

3તે કેટલું ઝડપથી ચાલે છે

Mac પરના પહેલા જાહેર બેન્ચમાર્કમાં સપ્ટેમ્બરના વેઇટનું મિશ્ર 4- અને 8-bit MLX બિલ્ડ 512 GBવાળા M3 Ultra Mac Studio પર ચલાવાયું હતું (GitHub પર બેન્ચમાર્ક):

હાર્ડવેર જેટલું આપી શકે તેના કરતાં આ ઘણું ઓછું છે. લખતી વખતે દરેક ટોકને આશરે 16 અબજ પેરામીટર, એટલે કે 4 bit પર આશરે 9 GB, વંચાય છે, એટલે મેમરી બૅન્ડવિડ્થ એક ચૅટને M3 Ultra (819 GB/s) પર પ્રતિ સેકન્ડ આશરે 90 ટોકન અને M5 Ultra (1.2 TB/s) પર 130 સુધી મર્યાદિત કરે છે. નવા આર્કિટેક્ચરનો સપોર્ટ થોડાં અઠવાડિયાં જ જૂનો છે, એટલે નવા રનટાઇમ આ અંતરનો થોડો ભાગ ઘટાડે તેવી અપેક્ષા રાખો; હાલના આંકડા MLX Bench પર અને રનટાઇમની રિલીઝ નોટ્સમાં સરખાવો.

પ્રૉમ્પ્ટ વાંચવાની ઝડપ મેમરીથી નહીં, કમ્પ્યુટથી મર્યાદિત છે. M5 પેઢીની ચિપના GPUમાં ન્યુરલ ઍક્સિલરેટર છે, અને MLX સાથે તે અગાઉની ચિપ કરતાં કેટલાય ગણા ઝડપથી પ્રૉમ્પ્ટ વાંચે છે (Apple).

4તેને કેવી રીતે ચલાવવું

DwarfStar (ds4): મેમરી પર સૌથી હળવું

DwarfStar એ DeepSeek Flash મૉડલ માટે બનાવેલું ઓપન-સોર્સ એન્જિન છે, જેમાં 96 GBથી વધુવાળાં Mac માટે Metal સપોર્ટ અને નાનાં માટે SSD સ્ટ્રીમિંગ છે. દરેક મોડમાં તે Engram ટેબલ ડિસ્ક પર જ રાખે છે (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Macમાં 256 GB કે વધુ હોય તો --ssd-streaming કાઢી નાખો. ./ds4-server મૉડલને લોકલ API પર પીરસે છે.

llama.cpp: 1017ની GGUF ફાઇલો

મુખ્ય llama.cpp અને Ollama હજી V4.1 Flashને સપોર્ટ કરતાં નથી. 1017ની GGUF ફાઇલો llama.cppની એક બ્રાન્ચથી બનાવાઈ છે, જે તમારે જાતે બિલ્ડ કરવી પડે; Engram ટેબલ CPU બાજુ રાખવાની ભલામણ છે (Hugging Face). હાલ આ ફાઇલો ફક્ત ટેક્સ્ટ માટે છે.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: Apple Silicon માટે 1017 બિલ્ડ

1017નાં MLX કમ્યુનિટી બિલ્ડ મોટા ભાગના વેઇટ માટે DeepSeekની મૂળ FP4 અને FP8 ચોકસાઈ જાળવે છે, અને તેમાં મલ્ટી-ટોકન પ્રિડિક્શન વેઇટ પણ છે. તે mlx-vlm દ્વારા લોડ થાય છે, જે ચિત્રો પણ સંભાળે છે, અને LM Studioમાં પણ દેખાય છે. તેને 512 GBવાળું Mac જોઈએ.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

લોકલ મૉડલ માટે નવા છો? તમારા Mac પર LLM ચલાવવા અને MLX vs Ollama vs llama.cppથી શરૂઆત કરો.

5512 GBવાળું Mac નથી? તમારા વિકલ્પો

• API વાપરો. deepseek-flash માટે DeepSeek દસ લાખ ઇનપુટ ટોકન દીઠ $0.15 અને દસ લાખ આઉટપુટ ટોકન દીઠ $0.60 લે છે; DeepSeek V4.1 Flash 1017 જુઓ.
• નાનું ઓપન મૉડલ ચલાવો. 64 GBવાળું Mac 70B શ્રેણીનાં મૉડલ અને 128 GBવાળું Mac gpt-oss-120b સારી રીતે ચલાવે છે: લોકલ LLM માટે શ્રેષ્ઠ Mac જુઓ.
• Macને જોડો. Thunderbolt 5 પર જોડેલાં બે કે વધુ Mac એવાં મૉડલ સમાવી શકે છે જે કોઈ એક Mac ન સમાવી શકે: Mac AI ક્લસ્ટર જુઓ.
• તમારા Macને કમાવા દો. MLX Node કોઈ પણ Apple Silicon Mac પર MLX Network માટે AI જૉબ ચલાવે છે અને MLX ટોકન કમાય છે, સમર્પિત સીટ વગર દિવસે 1 MLX સુધી. માઇન કરેલું MLX 30 દિવસ લૉક રહે છે, સમર્પિત સીટ સાથે તેથી ઓછું; જોખમો જુઓ.

6પ્રશ્નો

DeepSeek V4.1 Flash માટે કેટલી RAM જોઈએ?

Engram ટેબલ SSD પર રાખો તો 2-bit DwarfStar બિલ્ડ માટે આશરે 163 GB, તેના 4-bit બિલ્ડ માટે આશરે 316 GB, અને MLX બિલ્ડ માટે આખું ડાઉનલોડ, એટલે કે 343 થી 432 GB. macOS અને કૉન્ટેક્સ્ટ માટે જગ્યા ઉમેરો.

શું MacBook Pro પર DeepSeek V4.1 Flash ચાલે?

ફક્ત 128 GBવાળા પર, અને તે પણ DwarfStarથી 2-bit બિલ્ડ SSDમાંથી સ્ટ્રીમ કરીને જ; આ રીત પ્રાયોગિક અને ધીમી છે. 256 કે 512 GBવાળા Mac Studio પર તે આખું મેમરીમાં ચાલે છે.

M3 Ultra પર DeepSeek V4.1 Flash કેટલું ઝડપી છે?

512 GBવાળા M3 Ultra પર MLX બિલ્ડ સાથેના પહેલા જાહેર રને પ્રતિ સેકન્ડ આશરે 6.5 ટોકન લખ્યા અને પ્રૉમ્પ્ટ પ્રતિ સેકન્ડ આશરે 275 ટોકનની ઝડપે વાંચ્યા. મેમરી બૅન્ડવિડ્થ પ્રતિ સેકન્ડ આશરે 90 ટોકન સુધી છૂટ આપે છે, એટલે નવું સૉફ્ટવેર વધુ ઝડપી હોવું જોઈએ.

શું DeepSeek V4.1 Flash 1017નું MLX વર્ઝન છે?

હા. MLX કમ્યુનિટીએ 343 GB અને 432 GBનાં 1017 બિલ્ડ પ્રકાશિત કર્યાં છે. તે 512 GB મેમરીવાળા Mac પર mlx-vlm કે LM Studioથી ચાલે છે.

શું DeepSeek V4.1 Flash Ollamaમાં ચાલે છે?

સામાન્ય Ollama કે llama.cppમાં હજી નહીં. GGUF ફાઇલો માટે સોર્સમાંથી બિલ્ડ કરેલી llama.cppની બ્રાન્ચ જોઈએ, અથવા તમે DwarfStar વાપરી શકો, જે Mac પર આ મૉડલને સપોર્ટ કરે છે.