DeepSeek V4.1 Flash draaien op een Mac.

1Hoeveel geheugen hij nodig heeft

Het model heeft 552 miljard parameters, maar ongeveer 189 GiB van de download bestaat uit twee Engram-opzoektabellen waarvan per token maar een paar rijen worden gelezen. Runtimes die die tabellen op de SSD laten, hebben veel minder geheugen nodig dan de download groot is; versies die alles laden, hebben alles nodig (antirez op Hugging Face).

Laat ruimte over voor macOS en de context: met ongeveer 890 bytes per token voegt een gesprek van 100.000 tokens minder dan 0,1 GB toe, dus de gewichten geven de doorslag.

2Welke Mac hem kan draaien

Zet het model op de interne SSD van de Mac: Engram-rijen en gestreamde gewichten worden tijdens het genereren van schijf gelezen, en een externe schijf is veel trager. Houd ook rekening met de download: 250 tot 520 GB, plus vrije ruimte terwijl bestanden worden samengevoegd.

3Hoe snel hij draait

De eerste openbare benchmark op een Mac draaide een gemengde 4- en 8-bit MLX-versie van de septembergewichten op een Mac Studio met M3 Ultra en 512 GB (benchmark op GitHub):

Dat is ver onder wat de hardware toelaat. Schrijven leest ongeveer 16 miljard parameters per token, ongeveer 9 GB bij 4 bits, dus de geheugenbandbreedte begrenst één chat op ruwweg 90 tokens per seconde op een M3 Ultra (819 GB/s) en 130 op een M5 Ultra (1,2 TB/s). Ondersteuning voor de nieuwe architectuur is pas een paar weken oud, dus verwacht dat nieuwere runtimes een deel van het verschil goedmaken; vergelijk actuele cijfers op MLX Bench en in de release notes van de runtimes.

Prompts lezen wordt begrensd door rekenkracht, niet door geheugen. Chips van de M5-generatie hebben neurale accelerators in de GPU en lezen prompts met MLX een paar keer sneller dan eerdere chips (Apple).

4Zo draai je hem

DwarfStar (ds4): het zuinigst met geheugen

DwarfStar is een opensource-engine gebouwd voor DeepSeek Flash-modellen, met Metal-ondersteuning voor Macs vanaf 96 GB en SSD-streaming voor kleinere. Hij houdt de Engram-tabellen in elke modus op schijf (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Laat --ssd-streaming weg als de Mac 256 GB of meer heeft. ./ds4-server biedt het model aan via een lokale API.

llama.cpp: de GGUF-bestanden van 1017

De hoofdversie van llama.cpp en Ollama ondersteunen V4.1 Flash nog niet. De GGUF-bestanden van 1017 zijn gemaakt met een llama.cpp-branch die je zelf bouwt; het wordt aangeraden de Engram-tabellen aan de CPU-kant te houden (Hugging Face). De bestanden ondersteunen voorlopig alleen tekst.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: de 1017-versies voor Apple Silicon

De MLX-communityversies van 1017 behouden voor de meeste gewichten DeepSeeks oorspronkelijke FP4- en FP8-precisie en bevatten de gewichten voor multi-token prediction. Ze laden via mlx-vlm, dat ook afbeeldingen aankan, en LM Studio toont ze ook. Ze hebben een Mac met 512 GB nodig.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

Nieuw met lokale modellen? Begin met een LLM draaien op je Mac en MLX vs Ollama vs llama.cpp.

5Geen Mac met 512 GB? Je opties

• Gebruik de API. DeepSeek rekent $0,15 per miljoen invoertokens en $0,60 per miljoen uitvoertokens voor deepseek-flash; zie DeepSeek V4.1 Flash 1017.
• Draai een kleiner open model. Een Mac met 64 GB draait modellen van de 70B-klasse en een Mac met 128 GB draait gpt-oss-120b prima: zie de beste Mac voor lokale LLM's.
• Koppel Macs aan elkaar. Twee of meer Macs via Thunderbolt 5 kunnen modellen vasthouden die op geen van beide alleen passen: zie Mac AI-clusters.
• Laat je Mac verdienen. MLX Node voert AI-taken uit voor MLX Network op elke Mac met Apple Silicon en verdient MLX-tokens, tot 1 MLX per dag zonder vaste plek. Gedolven MLX is 30 dagen vergrendeld, korter met een vaste plek; zie de risico's.

6Vragen

Hoeveel RAM heb ik nodig voor DeepSeek V4.1 Flash?

Ongeveer 163 GB voor de 2-bit DwarfStar-versie met de Engram-tabellen op de SSD, ongeveer 316 GB voor de 4-bitversie ervan, en de hele download, 343 tot 432 GB, voor de MLX-versies. Reken er ruimte voor macOS en de context bij.

Kan een MacBook Pro DeepSeek V4.1 Flash draaien?

Alleen een met 128 GB, en alleen door de 2-bitversie met DwarfStar vanaf de SSD te streamen, wat experimenteel en traag is. Volledig in het geheugen draait hij op een Mac Studio met 256 of 512 GB.

Hoe snel is DeepSeek V4.1 Flash op een M3 Ultra?

De eerste openbare run op een M3 Ultra met 512 GB schreef met een MLX-versie ongeveer 6,5 tokens per seconde en las prompts met ongeveer 275 tokens per seconde. De geheugenbandbreedte zou ongeveer 90 tokens per seconde toelaten, dus nieuwere software zou sneller moeten zijn.

Bestaat er een MLX-versie van DeepSeek V4.1 Flash 1017?

Ja. De MLX-community publiceerde 1017-versies van 343 GB en 432 GB. Ze draaien met mlx-vlm of LM Studio op een Mac met 512 GB geheugen.

Werkt DeepSeek V4.1 Flash in Ollama?

Nog niet in de standaardversie van Ollama of llama.cpp. De GGUF-bestanden hebben een llama.cpp-branch nodig die je uit de broncode bouwt, of je gebruikt DwarfStar, dat het model op Macs ondersteunt.