Endesha DeepSeek V4.1 Flash kwenye Mac.

1Inahitaji kumbukumbu kiasi gani

Modeli ina vigezo bilioni 552, lakini takriban GiB 189 za upakuaji wake ni majedwali mawili ya Engram ya kutafutia ambayo husomwa safu chache kwa kila tokeni. Runtimes zinazoacha majedwali hayo kwenye SSD zinahitaji kumbukumbu ndogo sana kuliko ukubwa wa upakuaji; matoleo yanayopakia kila kitu yanahitaji ukubwa wote (antirez kwenye Hugging Face).

Acha nafasi kwa macOS na kwa context: kwa takriban baiti 890 kwa tokeni, mazungumzo ya tokeni 100,000 huongeza chini ya GB 0.1, hivyo weights ndizo huamua.

2Mac ipi inaweza kuiendesha

Weka modeli kwenye SSD ya ndani ya Mac: safu za Engram na weights zinazotiririshwa husomwa kutoka kwenye diski wakati wa kuzalisha, na diski ya nje ni polepole sana. Panga pia kwa ajili ya upakuaji: GB 250 hadi 520, pamoja na nafasi ya ziada wakati faili zinaunganishwa.

3Inaenda kwa kasi gani

Benchmark ya kwanza ya umma kwenye Mac iliendesha toleo la MLX lililochanganya biti 4 na 8 la weights za Septemba kwenye Mac Studio ya M3 Ultra yenye GB 512 (benchmark kwenye GitHub):

Hiyo ni chini sana ya uwezo wa vifaa. Kuandika husoma takriban vigezo bilioni 16 kwa kila tokeni, takriban GB 9 kwa biti 4, hivyo bandwidth ya kumbukumbu hupunguza mazungumzo moja hadi takriban tokeni 90 kwa sekunde kwenye M3 Ultra (819 GB/s) na 130 kwenye M5 Ultra (1.2 TB/s). Usaidizi wa muundo huu mpya una wiki chache tu, hivyo tarajia runtimes mpya kupunguza sehemu ya pengo; linganisha takwimu za sasa kwenye MLX Bench na katika maelezo ya matoleo ya runtimes.

Kusoma prompts kunadhibitiwa na uwezo wa kukokotoa, si kumbukumbu. Chipu za kizazi cha M5 zina neural accelerators ndani ya GPU na husoma prompts mara kadhaa haraka zaidi kuliko chipu za awali kwa MLX (Apple).

4Jinsi ya kuiendesha

DwarfStar (ds4): inayotumia kumbukumbu kidogo zaidi

DwarfStar ni injini ya open-source iliyojengwa kwa ajili ya modeli za DeepSeek Flash, yenye usaidizi wa Metal kwa Mac kuanzia GB 96 na kutiririsha kutoka SSD kwa Mac ndogo zaidi. Huweka majedwali ya Engram kwenye diski katika kila hali (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Ondoa --ssd-streaming ikiwa Mac ina GB 256 au zaidi. ./ds4-server huhudumia modeli kupitia API ya ndani.

llama.cpp: faili za GGUF za 1017

llama.cpp kuu na Ollama bado haziungi mkono V4.1 Flash. Faili za GGUF za 1017 zilitengenezwa kwa tawi la llama.cpp ambalo unalijenga mwenyewe; inapendekezwa kuweka majedwali ya Engram upande wa CPU (Hugging Face). Kwa sasa faili hizi ni za maandishi pekee.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: matoleo ya 1017 kwa Apple Silicon

Matoleo ya jumuiya ya MLX ya 1017 huhifadhi usahihi asili wa FP4 na FP8 wa DeepSeek kwa weights nyingi na yanajumuisha weights za multi-token prediction. Hupakiwa kupitia mlx-vlm, ambayo pia hushughulikia picha, na LM Studio inayaorodhesha pia. Yanahitaji Mac ya GB 512.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

Mgeni kwa modeli za ndani? Anza na kuendesha LLM kwenye Mac na MLX vs Ollama vs llama.cpp.

5Huna Mac ya GB 512? Machaguo yako

• Tumia API. DeepSeek hutoza $0.15 kwa tokeni milioni za input na $0.60 kwa tokeni milioni za output kwa deepseek-flash; tazama DeepSeek V4.1 Flash 1017.
• Endesha modeli huria ndogo zaidi. Mac ya GB 64 huendesha modeli za daraja la 70B na Mac ya GB 128 huendesha gpt-oss-120b vizuri: tazama Mac bora kwa LLM za ndani.
• Unganisha Mac. Mac mbili au zaidi kupitia Thunderbolt 5 zinaweza kubeba modeli ambazo Mac moja haiwezi: tazama cluster za AI za Mac.
• Iache Mac yako ifanye kazi. MLX Node huendesha kazi za AI kwa ajili ya MLX Network kwenye Mac yoyote ya Apple Silicon na hupata tokeni za MLX, hadi MLX 1 kwa siku bila kiti maalum. MLX iliyochimbwa hufungwa kwa siku 30, muda mfupi zaidi ukiwa na kiti maalum; tazama hatari.

6Maswali

Ninahitaji RAM kiasi gani kwa DeepSeek V4.1 Flash?

Takriban GB 163 kwa toleo la DwarfStar la 2-bit huku majedwali ya Engram yakibaki kwenye SSD, takriban GB 316 kwa toleo lake la 4-bit, na ukubwa wote wa upakuaji, GB 343 hadi 432, kwa matoleo ya MLX. Ongeza nafasi kwa macOS na context.

Je, MacBook Pro inaweza kuendesha DeepSeek V4.1 Flash?

Ile ya GB 128 pekee, na kwa kutiririsha toleo la 2-bit kutoka SSD kwa DwarfStar tu, jambo ambalo bado ni la majaribio na polepole. Huendeshwa kikamilifu kwenye kumbukumbu kwenye Mac Studio yenye GB 256 au 512.

DeepSeek V4.1 Flash ina kasi gani kwenye M3 Ultra?

Jaribio la kwanza la umma kwenye M3 Ultra ya GB 512 liliandika takriban tokeni 6.5 kwa sekunde na kusoma prompts kwa takriban tokeni 275 kwa sekunde, kwa toleo la MLX. Bandwidth ya kumbukumbu ingeruhusu takriban tokeni 90 kwa sekunde, hivyo programu mpya zaidi zinapaswa kuwa na kasi zaidi.

Je, kuna toleo la MLX la DeepSeek V4.1 Flash 1017?

Ndiyo. Jumuiya ya MLX ilichapisha matoleo ya 1017 ya GB 343 na GB 432. Huendeshwa na mlx-vlm au LM Studio kwenye Mac yenye kumbukumbu ya GB 512.

Je, DeepSeek V4.1 Flash inafanya kazi kwenye Ollama?

Bado haifanyi kazi kwenye Ollama au llama.cpp ya kawaida. Faili za GGUF zinahitaji tawi la llama.cpp lililojengwa kutoka source code, au unaweza kutumia DwarfStar, inayoiunga mkono modeli hii kwenye Mac.