Uruchom DeepSeek V4.1 Flash na Macu.

1Ile pamięci potrzebuje

Model ma 552 mld parametrów, ale około 189 GiB pobieranych plików to dwie tabele Engram, z których przy każdym tokenie czyta się po kilka wierszy. Środowiska, które zostawiają te tabele na SSD, potrzebują znacznie mniej pamięci, niż wynosi rozmiar pobierania; wersje, które ładują wszystko, potrzebują całości (antirez na Hugging Face).

Zostaw miejsce na macOS i kontekst: przy około 890 bajtach na token rozmowa na 100 000 tokenów dodaje mniej niż 0,1 GB, więc o wszystkim decydują wagi.

2Który Mac go uruchomi

Trzymaj model na wewnętrznym dysku SSD Maca: wiersze Engram i strumieniowane wagi są czytane z dysku podczas generowania, a dysk zewnętrzny jest dużo wolniejszy. Zaplanuj też samo pobieranie: od 250 do 520 GB plus wolne miejsce na łączenie plików.

3Jak szybko działa

Pierwszy publiczny benchmark na Macu uruchamiał mieszaną 4- i 8-bitową wersję MLX wrześniowych wag na Macu Studio z M3 Ultra i 512 GB (benchmark na GitHubie):

To dużo poniżej możliwości sprzętu. Generowanie czyta około 16 mld parametrów na token, czyli około 9 GB przy 4 bitach, więc przepustowość pamięci ogranicza jeden czat do mniej więcej 90 tokenów na sekundę na M3 Ultra (819 GB/s) i 130 na M5 Ultra (1,2 TB/s). Obsługa nowej architektury ma dopiero kilka tygodni, więc nowsze środowiska powinny zmniejszyć część tej różnicy; aktualne liczby porównasz na MLX Bench i w informacjach o wydaniach.

Czytanie promptu ogranicza moc obliczeniowa, a nie pamięć. Układy z generacji M5 mają akceleratory neuronowe w GPU i z MLX czytają prompty kilka razy szybciej niż wcześniejsze układy (Apple).

4Jak go uruchomić

DwarfStar (ds4): najoszczędniejszy pod względem pamięci

DwarfStar to otwartoźródłowy silnik stworzony dla modeli DeepSeek Flash, z obsługą Metal na Macach od 96 GB i strumieniowaniem z SSD na mniejszych. W każdym trybie trzyma tabele Engram na dysku (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Pomiń --ssd-streaming, jeśli Mac ma 256 GB lub więcej. ./ds4-server udostępnia model przez lokalne API.

llama.cpp: pliki GGUF dla 1017

Główna wersja llama.cpp i Ollama nie obsługują jeszcze V4.1 Flash. Pliki GGUF dla 1017 powstały w gałęzi llama.cpp, którą trzeba zbudować samodzielnie; zalecane jest trzymanie tabel Engram po stronie CPU (Hugging Face). Na razie pliki obsługują tylko tekst.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: wersje 1017 dla Apple Silicon

Wersje 1017 od społeczności MLX zachowują dla większości wag oryginalną precyzję DeepSeek, FP4 i FP8, i zawierają wagi przewidywania wielu tokenów (multi-token prediction). Ładuje się je przez mlx-vlm, który obsługuje też obrazy, a LM Studio również je wyświetla. Wymagają Maca z 512 GB.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

Dopiero zaczynasz z lokalnymi modelami? Zacznij od uruchamiania LLM na Macu i porównania MLX vs Ollama vs llama.cpp.

5Nie masz Maca z 512 GB? Twoje opcje

• Użyj API. DeepSeek pobiera $0,15 za milion tokenów wejściowych i $0,60 za milion wyjściowych za deepseek-flash; zobacz DeepSeek V4.1 Flash 1017.
• Uruchom mniejszy otwarty model. Mac z 64 GB uruchamia modele klasy 70B, a Mac ze 128 GB dobrze radzi sobie z gpt-oss-120b: zobacz najlepszy Mac do lokalnych LLM.
• Połącz kilka Maców. Dwa lub więcej Maców połączonych przez Thunderbolt 5 zmieści modele, których żaden z nich nie zmieści sam: zobacz klastry AI z Maców.
• Niech Mac zarabia. MLX Node wykonuje zadania AI dla MLX Network na każdym Macu z Apple Silicon i zarabia tokeny MLX, do 1 MLX dziennie bez dedykowanego miejsca. Wydobyte MLX są zablokowane przez 30 dni, z dedykowanym miejscem krócej; zobacz ryzyka.

6Pytania

Ile RAM potrzeba do DeepSeek V4.1 Flash?

Około 163 GB dla 2-bitowej wersji DwarfStar z tabelami Engram na SSD, około 316 GB dla jej wersji 4-bitowej i całego rozmiaru pobierania, od 343 do 432 GB, dla wersji MLX. Dolicz zapas na macOS i kontekst.

Czy MacBook Pro uruchomi DeepSeek V4.1 Flash?

Tylko wersja ze 128 GB i tylko strumieniując 2-bitową wersję z SSD przez DwarfStar, co jest eksperymentalne i wolne. W całości w pamięci model działa na Macu Studio z 256 lub 512 GB.

Jak szybki jest DeepSeek V4.1 Flash na M3 Ultra?

Pierwsze publiczne uruchomienie na M3 Ultra z 512 GB, z wersją MLX, generowało około 6,5 tokena na sekundę i czytało prompt z prędkością około 275 tokenów na sekundę. Przepustowość pamięci pozwalałaby na około 90 tokenów na sekundę, więc nowsze oprogramowanie powinno być szybsze.

Czy istnieje wersja MLX modelu DeepSeek V4.1 Flash 1017?

Tak. Społeczność MLX opublikowała wersje 1017 o rozmiarze 343 GB i 432 GB. Działają z mlx-vlm lub LM Studio na Macu z 512 GB pamięci.

Czy DeepSeek V4.1 Flash działa w Ollama?

Jeszcze nie w standardowych wersjach Ollama i llama.cpp. Pliki GGUF wymagają gałęzi llama.cpp zbudowanej ze źródeł; możesz też użyć DwarfStar, który obsługuje ten model na Macach.