Faire tourner DeepSeek V4.1 Flash sur un Mac.

1Combien de mémoire il lui faut

Le modèle compte 552 milliards de paramètres, mais environ 189 GiB de son téléchargement sont deux tables de consultation Engram, dont on ne lit que quelques lignes par token. Les moteurs qui laissent ces tables sur le SSD demandent bien moins de mémoire que la taille du téléchargement ; les versions qui chargent tout en ont besoin en entier (antirez sur Hugging Face).

Gardez de la marge pour macOS et pour le contexte : à environ 890 octets par token, une conversation de 100 000 tokens ajoute moins de 0,1 GB, ce sont donc les poids qui décident.

2Quel Mac peut le faire tourner

Gardez le modèle sur le SSD interne du Mac : les lignes Engram et les poids en streaming sont lus sur le disque pendant la génération, et un disque externe est bien plus lent. Prévoyez aussi le téléchargement : 250 à 520 GB, plus de l’espace libre pendant l’assemblage des fichiers.

3À quelle vitesse il tourne

Le premier benchmark public sur Mac a fait tourner une version MLX mixte 4 et 8 bits des poids de septembre sur un Mac Studio M3 Ultra avec 512 GB (benchmark sur GitHub) :

C’est bien en dessous de ce que permet le matériel. Pour écrire, le modèle lit environ 16 milliards de paramètres par token, soit environ 9 GB en 4 bits ; la bande passante mémoire plafonne donc une conversation à environ 90 tokens par seconde sur un M3 Ultra (819 GB/s) et 130 sur un M5 Ultra (1,2 TB/s). La prise en charge de la nouvelle architecture n’a que quelques semaines, et les moteurs plus récents devraient combler une partie de l’écart. Comparez les chiffres actuels sur MLX Bench et dans les notes de version des moteurs.

La lecture des prompts est limitée par le calcul plutôt que par la mémoire. Les puces de génération M5 ont des accélérateurs neuronaux dans le GPU et, avec MLX, lisent les prompts plusieurs fois plus vite que les puces précédentes (Apple).

4Comment le faire tourner

DwarfStar (ds4) : le plus économe en mémoire

DwarfStar est un moteur open source conçu pour les modèles DeepSeek Flash, avec prise en charge de Metal pour les Mac à partir de 96 GB et streaming depuis le SSD pour les plus petits. Il garde les tables Engram sur le disque dans tous les modes (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Retirez --ssd-streaming si le Mac a 256 GB ou plus. ./ds4-server sert le modèle via une API locale.

llama.cpp : les fichiers GGUF de 1017

La version principale de llama.cpp et Ollama ne prennent pas encore en charge V4.1 Flash. Les fichiers GGUF de 1017 ont été produits avec une branche de llama.cpp, à compiler vous-même ; il est conseillé de garder les tables Engram côté CPU (Hugging Face). Pour l’instant, les fichiers sont limités au texte.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX : les versions de 1017 pour Apple Silicon

Les versions de 1017 de la communauté MLX conservent la précision FP4 et FP8 d’origine de DeepSeek pour la plupart des poids et incluent les poids de prédiction multi-token. Elles se chargent avec mlx-vlm, qui gère aussi les images, et LM Studio les propose également. Il leur faut un Mac de 512 GB.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

Vous débutez avec les modèles locaux ? Commencez par faire tourner un LLM sur votre Mac et MLX vs Ollama vs llama.cpp.

5Pas de Mac de 512 GB ? Vos options

• Utilisez l’API. DeepSeek facture deepseek-flash 0,15 $ par million de tokens en entrée et 0,60 $ par million de tokens en sortie ; voir DeepSeek V4.1 Flash 1017.
• Faites tourner un modèle ouvert plus petit. Un Mac de 64 GB fait tourner des modèles de classe 70B et un Mac de 128 GB fait bien tourner gpt-oss-120b : voir le meilleur Mac pour les LLM en local.
• Reliez plusieurs Mac. Deux Mac ou plus reliés en Thunderbolt 5 peuvent contenir des modèles qu’aucun ne pourrait contenir seul : voir clusters IA de Mac.
• Faites gagner votre Mac. MLX Node exécute des tâches d’IA pour MLX Network sur n’importe quel Mac Apple Silicon et gagne des jetons MLX, jusqu’à 1 MLX par jour sans place dédiée. Les MLX minés sont bloqués 30 jours, moins avec une place dédiée ; voir les risques.

6Questions

Combien de RAM faut-il pour DeepSeek V4.1 Flash ?

Environ 163 GB pour la version DwarfStar 2 bits avec les tables Engram sur le SSD, environ 316 GB pour sa version 4 bits, et la totalité du téléchargement, de 343 à 432 GB, pour les versions MLX. Ajoutez de la marge pour macOS et le contexte.

Un MacBook Pro peut-il faire tourner DeepSeek V4.1 Flash ?

Seulement un modèle de 128 GB, et seulement en lisant la version 2 bits en streaming depuis le SSD avec DwarfStar, ce qui est expérimental et lent. Il tourne entièrement en mémoire sur un Mac Studio de 256 ou 512 GB.

Quelle vitesse pour DeepSeek V4.1 Flash sur un M3 Ultra ?

Le premier essai public sur un M3 Ultra de 512 GB écrivait environ 6,5 tokens par seconde et lisait les prompts à environ 275 tokens par seconde, avec une version MLX. La bande passante mémoire permettrait environ 90 tokens par seconde, donc les logiciels plus récents devraient être plus rapides.

Existe-t-il une version MLX de DeepSeek V4.1 Flash 1017 ?

Oui. La communauté MLX a publié des versions de 1017 de 343 GB et 432 GB. Elles tournent avec mlx-vlm ou LM Studio sur un Mac doté de 512 GB de mémoire.

DeepSeek V4.1 Flash fonctionne-t-il dans Ollama ?

Pas encore dans Ollama ni dans llama.cpp standard. Les fichiers GGUF demandent une branche de llama.cpp compilée depuis les sources ; sinon, vous pouvez utiliser DwarfStar, qui prend en charge le modèle sur Mac.