DeepSeek V4.1 Flash auf dem Mac ausführen.

1Wie viel Speicher es braucht

Das Modell hat 552 Milliarden Parameter, aber etwa 189 GiB des Downloads sind zwei Engram-Nachschlagetabellen, aus denen pro Token nur ein paar Zeilen gelesen werden. Runtimes, die diese Tabellen auf der SSD lassen, brauchen weit weniger Arbeitsspeicher, als der Download groß ist; Versionen, die alles laden, brauchen ihn komplett (antirez auf Hugging Face).

Lass Platz für macOS und den Kontext: Bei etwa 890 Byte pro Token kommen bei einer Unterhaltung mit 100.000 Tokens weniger als 0,1 GB hinzu, entscheidend sind also die Gewichte.

2Welcher Mac es ausführen kann

Lass das Modell auf der internen SSD des Macs: Engram-Zeilen und gestreamte Gewichte werden während der Generierung von der SSD gelesen, und ein externes Laufwerk ist viel langsamer. Plane auch den Download ein: 250 bis 520 GB, plus freien Platz, während die Dateien zusammengefügt werden.

3Wie schnell es läuft

Der erste öffentliche Benchmark auf einem Mac ließ eine gemischte 4- und 8-Bit-MLX-Version der September-Gewichte auf einem Mac Studio mit M3 Ultra und 512 GB laufen (Benchmark auf GitHub):

Das liegt weit unter dem, was die Hardware hergibt. Beim Schreiben werden pro Token etwa 16 Milliarden Parameter gelesen, rund 9 GB bei 4 Bit, also begrenzt die Speicherbandbreite eine einzelne Unterhaltung auf etwa 90 Tokens pro Sekunde auf einem M3 Ultra (819 GB/s) und 130 auf einem M5 Ultra (1,2 TB/s). Die Unterstützung für die neue Architektur ist erst wenige Wochen alt, neuere Runtimes dürften also einen Teil der Lücke schließen; vergleiche aktuelle Zahlen auf MLX Bench und in den Release Notes der Runtimes.

Beim Lesen von Prompts begrenzt die Rechenleistung, nicht der Speicher. Chips der M5-Generation haben Neural Accelerators in der GPU und lesen Prompts mit MLX um ein Mehrfaches schneller als frühere Chips (Apple).

4So führst du es aus

DwarfStar (ds4): am sparsamsten beim Speicher

DwarfStar ist eine Open-Source-Engine für DeepSeek-Flash-Modelle, mit Metal-Unterstützung für Macs ab 96 GB und SSD-Streaming für kleinere. Die Engram-Tabellen bleiben in jedem Modus auf dem Datenträger (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Lass --ssd-streaming weg, wenn der Mac 256 GB oder mehr hat. ./ds4-server stellt das Modell über eine lokale API bereit.

llama.cpp: die GGUF-Dateien von 1017

Das offizielle llama.cpp und Ollama unterstützen V4.1 Flash noch nicht. Die GGUF-Dateien von 1017 wurden mit einem llama.cpp-Branch erstellt, den du selbst kompilierst; empfohlen ist, die Engram-Tabellen auf der CPU-Seite zu halten (Hugging Face). Vorerst unterstützen die Dateien nur Text.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: die 1017-Versionen für Apple Silicon

Die 1017-Versionen der MLX-Community behalten für die meisten Gewichte DeepSeeks ursprüngliche FP4- und FP8-Genauigkeit und enthalten die Gewichte für Multi-Token-Prediction. Sie laden über mlx-vlm, das auch Bilder verarbeitet, und LM Studio führt sie ebenfalls. Sie brauchen einen Mac mit 512 GB.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

Neu bei lokalen Modellen? Lies zuerst, wie du ein LLM auf deinem Mac ausführst, und MLX vs Ollama vs llama.cpp.

5Kein Mac mit 512 GB? Deine Optionen

• Nutze die API. DeepSeek berechnet für deepseek-flash 0,15 $ pro Million Eingabe-Tokens und 0,60 $ pro Million Ausgabe-Tokens; siehe DeepSeek V4.1 Flash 1017.
• Nimm ein kleineres offenes Modell. Ein Mac mit 64 GB führt Modelle der 70B-Klasse aus, und ein Mac mit 128 GB schafft gpt-oss-120b gut: siehe den besten Mac für lokale LLMs.
• Verbinde mehrere Macs. Zwei oder mehr Macs über Thunderbolt 5 fassen Modelle, die keiner allein fassen könnte: siehe KI-Cluster mit Macs.
• Lass deinen Mac verdienen. MLX Node führt auf jedem Mac mit Apple Silicon KI-Jobs für MLX Network aus und verdient MLX Tokens, bis zu 1 MLX am Tag ohne dedizierten Platz. Geschürftes MLX ist 30 Tage gesperrt, mit einem dedizierten Platz kürzer; siehe die Risiken.

6Fragen

Wie viel RAM brauche ich für DeepSeek V4.1 Flash?

Etwa 163 GB für die 2-Bit-Version von DwarfStar mit den Engram-Tabellen auf der SSD, etwa 316 GB für deren 4-Bit-Version und für die MLX-Versionen den ganzen Download, also 343 bis 432 GB. Dazu kommt Platz für macOS und den Kontext.

Kann ein MacBook Pro DeepSeek V4.1 Flash ausführen?

Nur eines mit 128 GB, und nur, indem es die 2-Bit-Version mit DwarfStar von der SSD streamt, was experimentell und langsam ist. Komplett im Arbeitsspeicher läuft es auf einem Mac Studio mit 256 oder 512 GB.

Wie schnell ist DeepSeek V4.1 Flash auf einem M3 Ultra?

Der erste öffentliche Lauf auf einem M3 Ultra mit 512 GB schrieb mit einer MLX-Version etwa 6,5 Tokens pro Sekunde und las Prompts mit etwa 275 Tokens pro Sekunde. Die Speicherbandbreite würde etwa 90 Tokens pro Sekunde erlauben, neuere Software sollte also schneller sein.

Gibt es eine MLX-Version von DeepSeek V4.1 Flash 1017?

Ja. Die MLX-Community hat 1017-Versionen mit 343 GB und 432 GB veröffentlicht. Sie laufen mit mlx-vlm oder LM Studio auf einem Mac mit 512 GB Arbeitsspeicher.

Funktioniert DeepSeek V4.1 Flash in Ollama?

Im normalen Ollama und llama.cpp noch nicht. Für die GGUF-Dateien brauchst du einen aus dem Quellcode gebauten llama.cpp-Branch, oder du nutzt DwarfStar, das das Modell auf Macs unterstützt.