Patakbuhin ang DeepSeek V4.1 Flash sa Mac.

1Gaano karaming memory ang kailangan nito

May 552 bilyong parameter ang model, pero mga 189 GiB ng download nito ay dalawang Engram lookup table na binabasa nang ilang row bawat token. Mas kaunting memory kaysa sa laki ng download ang kailangan ng mga runtime na nag-iiwan ng mga table na iyon sa SSD; ang mga build na naglo-load ng lahat ay kailangan ang buong laki (antirez sa Hugging Face).

Mag-iwan ng puwang para sa macOS at sa context: sa mga 890 byte bawat token, wala pang 0.1 GB ang idinadagdag ng 100,000-token na usapan, kaya ang weights ang nagpapasya.

2Aling Mac ang kayang magpatakbo nito

Itago ang model sa internal SSD ng Mac: binabasa mula sa disk ang mga Engram row at ang ini-stream na weights habang nagge-generate, at mas mabagal nang husto ang external drive. Planuhin din ang download: 250 hanggang 520 GB, dagdag ang bakanteng espasyo habang pinagdurugtong ang mga file.

3Gaano ito kabilis

Ang unang pampublikong benchmark sa Mac ay nagpatakbo ng halong 4- at 8-bit na MLX build ng weights noong Setyembre sa M3 Ultra Mac Studio na may 512 GB (benchmark sa GitHub):

Malayo iyan sa kaya ng hardware. Sa pagsulat, mga 16 bilyong parameter ang binabasa bawat token, mga 9 GB sa 4 bit, kaya nililimitahan ng memory bandwidth ang isang chat sa humigit-kumulang 90 token bawat segundo sa M3 Ultra (819 GB/s) at 130 sa M5 Ultra (1.2 TB/s). Ilang linggo pa lang ang suporta para sa bagong architecture, kaya asahang mapapaliit ng mas bagong mga runtime ang bahagi ng agwat; ikumpara ang kasalukuyang numero sa MLX Bench at sa release notes ng mga runtime.

Compute ang naglilimita sa pagbasa ng prompt, hindi memory. May neural accelerators sa GPU ang mga chip ng M5 generation at ilang beses na mas mabilis bumasa ng prompt kaysa sa mga naunang chip gamit ang MLX (Apple).

4Paano ito patakbuhin

DwarfStar (ds4): pinakatipid sa memory

Ang DwarfStar ay open-source na engine na ginawa para sa mga DeepSeek Flash model, na may Metal support para sa mga Mac mula 96 GB at SSD streaming para sa mas maliliit. Nasa disk ang mga Engram table nito sa bawat mode (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Alisin ang --ssd-streaming kapag 256 GB o higit pa ang Mac. Sine-serve ng ./ds4-server ang model sa isang local API.

llama.cpp: ang mga 1017 GGUF file

Hindi pa sinusuportahan ng mainline llama.cpp at ng Ollama ang V4.1 Flash. Ginawa ang mga 1017 GGUF file gamit ang isang branch ng llama.cpp na ikaw mismo ang magbi-build; inirerekomendang itago ang mga Engram table sa CPU side (Hugging Face). Text-only pa ang mga file sa ngayon.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: ang mga 1017 build para sa Apple Silicon

Pinapanatili ng mga MLX community build ng 1017 ang orihinal na FP4 at FP8 precision ng DeepSeek para sa karamihan ng weights at kasama ang multi-token prediction weights. Naglo-load ang mga ito sa mlx-vlm, na humahawak din ng mga larawan, at nakalista rin sa LM Studio. Kailangan ng mga ito ng 512 GB na Mac.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

Bago sa local models? Magsimula sa pagpapatakbo ng LLM sa Mac at MLX vs Ollama vs llama.cpp.

5Walang 512 GB na Mac? Ang mga opsyon mo

• Gamitin ang API. Naniningil ang DeepSeek ng $0.15 bawat milyong input token at $0.60 bawat milyong output token para sa deepseek-flash; tingnan ang DeepSeek V4.1 Flash 1017.
• Magpatakbo ng mas maliit na open model. Kaya ng 64 GB na Mac ang mga 70B-class na model at maayos na napapatakbo ng 128 GB na Mac ang gpt-oss-120b: tingnan ang pinakamagandang Mac para sa local LLM.
• Pagsamahin ang mga Mac. Kayang hawakan ng dalawa o higit pang Mac na konektado sa Thunderbolt 5 ang mga model na hindi kaya ng iisang Mac: tingnan ang Mac AI clusters.
• Hayaang magtrabaho ang Mac mo. Nagpapatakbo ang MLX Node ng AI job para sa MLX Network sa kahit anong Apple Silicon Mac at kumikita ng MLX tokens, hanggang 1 MLX bawat araw kung walang dedicated seat. Naka-lock ang na-mine na MLX nang 30 araw, mas maikli kung may dedicated seat; tingnan ang mga panganib.

6Mga tanong

Gaano karaming RAM ang kailangan ko para sa DeepSeek V4.1 Flash?

Mga 163 GB para sa 2-bit na DwarfStar build na iniiwan sa SSD ang mga Engram table, mga 316 GB para sa 4-bit build nito, at ang buong laki ng download, 343 hanggang 432 GB, para sa mga MLX build. Dagdagan ng puwang para sa macOS at sa context.

Kaya ba ng MacBook Pro na patakbuhin ang DeepSeek V4.1 Flash?

Ang 128 GB lang, at sa pag-stream lang ng 2-bit build mula sa SSD gamit ang DwarfStar, na experimental at mabagal. Buong tumatakbo ito sa memory sa Mac Studio na may 256 o 512 GB.

Gaano kabilis ang DeepSeek V4.1 Flash sa M3 Ultra?

Ang unang pampublikong run sa 512 GB na M3 Ultra ay sumulat ng mga 6.5 token bawat segundo at bumasa ng prompt sa mga 275 token bawat segundo, gamit ang isang MLX build. Papayagan ng memory bandwidth ang mga 90 token bawat segundo, kaya dapat mas mabilis ang mas bagong software.

May MLX version ba ang DeepSeek V4.1 Flash 1017?

Oo. Naglathala ang MLX community ng mga 1017 build na 343 GB at 432 GB. Tumatakbo ang mga ito sa mlx-vlm o LM Studio sa Mac na may 512 GB na memory.

Gumagana ba ang DeepSeek V4.1 Flash sa Ollama?

Hindi pa sa karaniwang Ollama o llama.cpp. Kailangan ng mga GGUF file ng branch ng llama.cpp na bi-nuild mula sa source, o puwede mong gamitin ang DwarfStar, na sumusuporta sa model sa mga Mac.