Eseguire DeepSeek V4.1 Flash su Mac.

1Quanta memoria serve

Il modello ha 552 miliardi di parametri, ma circa 189 GiB del download sono due tabelle di lookup Engram, di cui si leggono poche righe per token. I runtime che lasciano queste tabelle sull'SSD richiedono molta meno memoria della dimensione del download; le versioni che caricano tutto ne hanno bisogno per intero (antirez su Hugging Face).

Lascia spazio a macOS e al contesto: a circa 890 byte per token, una conversazione da 100.000 token aggiunge meno di 0,1 GB, quindi a decidere sono i pesi.

2Quale Mac può eseguirlo

Tieni il modello sull'SSD interno del Mac: righe Engram e pesi in streaming vengono letti dal disco durante la generazione, e un'unità esterna è molto più lenta. Considera anche il download: da 250 a 520 GB, più lo spazio libero mentre i file vengono uniti.

3Quanto va veloce

Il primo benchmark pubblico su Mac ha eseguito una versione MLX mista a 4 e 8 bit dei pesi di settembre su un Mac Studio M3 Ultra con 512 GB (benchmark su GitHub):

È molto al di sotto di quanto consente l'hardware. In scrittura vengono letti circa 16 miliardi di parametri per token, circa 9 GB a 4 bit, quindi la larghezza di banda della memoria limita una singola chat a circa 90 token al secondo su un M3 Ultra (819 GB/s) e 130 su un M5 Ultra (1,2 TB/s). Il supporto per la nuova architettura ha poche settimane, quindi è probabile che i runtime più recenti colmino parte del divario; confronta i numeri attuali su MLX Bench e nelle note di rilascio dei runtime.

La lettura dei prompt è limitata dal calcolo più che dalla memoria. I chip della generazione M5 hanno acceleratori neurali nella GPU e, con MLX, leggono i prompt diverse volte più velocemente dei chip precedenti (Apple).

4Come eseguirlo

DwarfStar (ds4): il più parco di memoria

DwarfStar è un motore open source creato per i modelli DeepSeek Flash, con supporto Metal per i Mac da 96 GB in su e streaming dall'SSD per quelli più piccoli. Tiene le tabelle Engram su disco in ogni modalità (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Togli --ssd-streaming se il Mac ha 256 GB o più. ./ds4-server serve il modello tramite un'API locale.

llama.cpp: i file GGUF di 1017

La versione principale di llama.cpp e Ollama non supportano ancora V4.1 Flash. I file GGUF di 1017 sono stati creati con un branch di llama.cpp da compilare da te; si consiglia di tenere le tabelle Engram sul lato CPU (Hugging Face). Per ora i file sono solo testo.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: le versioni di 1017 per Apple Silicon

Le versioni di 1017 della community MLX mantengono la precisione FP4 e FP8 originale di DeepSeek per la maggior parte dei pesi e includono i pesi di predizione multi-token. Si caricano con mlx-vlm, che gestisce anche le immagini, e le trovi anche in LM Studio. Richiedono un Mac da 512 GB.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

Alle prime armi con i modelli locali? Inizia da eseguire un LLM sul tuo Mac e MLX vs Ollama vs llama.cpp.

5Niente Mac da 512 GB? Le tue opzioni

• Usa l'API. DeepSeek fa pagare 0,15 $ per milione di token in input e 0,60 $ per milione di token in output per deepseek-flash; vedi DeepSeek V4.1 Flash 1017.
• Esegui un modello aperto più piccolo. Un Mac da 64 GB esegue modelli di classe 70B e uno da 128 GB fa girare bene gpt-oss-120b: vedi il miglior Mac per LLM in locale.
• Collega più Mac. Due o più Mac collegati via Thunderbolt 5 possono contenere modelli che nessuno reggerebbe da solo: vedi cluster AI di Mac.
• Fai guadagnare il tuo Mac. MLX Node esegue lavori di AI per MLX Network su qualsiasi Mac con Apple Silicon e guadagna token MLX, fino a 1 MLX al giorno senza posto dedicato. Gli MLX minati restano bloccati 30 giorni, meno con un posto dedicato; vedi i rischi.

6Domande

Quanta RAM serve per DeepSeek V4.1 Flash?

Circa 163 GB per la versione DwarfStar a 2 bit con le tabelle Engram sull'SSD, circa 316 GB per la sua versione a 4 bit, e l'intero download, da 343 a 432 GB, per le versioni MLX. Aggiungi spazio per macOS e il contesto.

Un MacBook Pro può eseguire DeepSeek V4.1 Flash?

Solo uno da 128 GB, e solo leggendo la versione a 2 bit in streaming dall'SSD con DwarfStar, in modo sperimentale e lento. Gira interamente in memoria su un Mac Studio da 256 o 512 GB.

Quanto è veloce DeepSeek V4.1 Flash su un M3 Ultra?

La prima esecuzione pubblica su un M3 Ultra da 512 GB scriveva circa 6,5 token al secondo e leggeva i prompt a circa 275 token al secondo, con una versione MLX. La larghezza di banda della memoria consentirebbe circa 90 token al secondo, quindi il software più recente dovrebbe essere più veloce.

Esiste una versione MLX di DeepSeek V4.1 Flash 1017?

Sì. La community MLX ha pubblicato versioni di 1017 da 343 GB e 432 GB. Girano con mlx-vlm o LM Studio su un Mac con 512 GB di memoria.

DeepSeek V4.1 Flash funziona con Ollama?

Non ancora con Ollama né con llama.cpp standard. I file GGUF richiedono un branch di llama.cpp compilato dai sorgenti, oppure puoi usare DwarfStar, che supporta il modello su Mac.