Ejecuta DeepSeek V4.1 Flash en una Mac.

1Cuánta memoria necesita

El modelo tiene 552 000 millones de parámetros, pero unos 189 GiB de su descarga son dos tablas de consulta Engram de las que se leen unas pocas filas por token. Los motores que dejan esas tablas en el SSD necesitan mucha menos memoria que el tamaño de la descarga; las versiones que lo cargan todo la necesitan entera (antirez en Hugging Face).

Deja margen para macOS y para el contexto: a unos 890 bytes por token, una conversación de 100 000 tokens añade menos de 0,1 GB, así que lo que decide son los pesos.

2Qué Mac puede ejecutarlo

Guarda el modelo en el SSD interno de la Mac: las filas Engram y los pesos en streaming se leen del disco durante la generación, y un disco externo es mucho más lento. Ten en cuenta también la descarga: de 250 a 520 GB, más espacio libre mientras se unen los archivos.

3A qué velocidad funciona

La primera prueba pública en una Mac ejecutó una versión MLX mixta de 4 y 8 bits de los pesos de septiembre en una Mac Studio M3 Ultra con 512 GB (prueba en GitHub):

Eso está muy por debajo de lo que permite el hardware. Al escribir se leen unos 16 000 millones de parámetros por token, unos 9 GB a 4 bits, así que el ancho de banda de memoria limita una conversación a unos 90 tokens por segundo en una M3 Ultra (819 GB/s) y 130 en una M5 Ultra (1,2 TB/s). El soporte para la nueva arquitectura tiene pocas semanas, así que es de esperar que los motores más nuevos reduzcan parte de esa diferencia; compara las cifras actuales en MLX Bench y en las notas de versión de cada motor.

La lectura de prompts está limitada por el cálculo, no por la memoria. Los chips de la generación M5 tienen aceleradores neuronales en la GPU y, con MLX, leen los prompts varias veces más rápido que los chips anteriores (Apple).

4Cómo ejecutarlo

DwarfStar (ds4): el que menos memoria usa

DwarfStar es un motor de código abierto creado para los modelos DeepSeek Flash, con soporte de Metal para Mac desde 96 GB y lectura desde el SSD para las más pequeñas. Mantiene las tablas Engram en el disco en todos los modos (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Quita --ssd-streaming si la Mac tiene 256 GB o más. ./ds4-server sirve el modelo a través de una API local.

llama.cpp: los archivos GGUF de 1017

La versión principal de llama.cpp y Ollama aún no son compatibles con V4.1 Flash. Los archivos GGUF de 1017 se crearon con una rama de llama.cpp que tienes que compilar tú; se recomienda mantener las tablas Engram del lado de la CPU (Hugging Face). Por ahora los archivos son solo de texto.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: las versiones de 1017 para Apple Silicon

Las versiones de 1017 de la comunidad MLX conservan la precisión FP4 y FP8 original de DeepSeek en la mayoría de los pesos e incluyen los pesos de predicción multitoken. Se cargan con mlx-vlm, que también maneja imágenes, y LM Studio también las ofrece. Necesitan una Mac con 512 GB.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

¿Eres nuevo en los modelos locales? Empieza por ejecutar un LLM en tu Mac y MLX vs Ollama vs llama.cpp.

5¿No tienes una Mac de 512 GB? Tus opciones

• Usa la API. DeepSeek cobra 0,15 US$ por millón de tokens de entrada y 0,60 US$ por millón de tokens de salida por deepseek-flash; consulta DeepSeek V4.1 Flash 1017.
• Ejecuta un modelo abierto más pequeño. Una Mac con 64 GB ejecuta modelos de clase 70B y una con 128 GB ejecuta bien gpt-oss-120b: consulta la mejor Mac para LLM en local.
• Une varias Mac. Dos o más Mac conectadas por Thunderbolt 5 pueden cargar modelos que ninguna podría sola: consulta clústeres de IA con Mac.
• Deja que tu Mac gane. MLX Node ejecuta trabajos de IA para MLX Network en cualquier Mac con Apple Silicon y gana tokens MLX, hasta 1 MLX al día sin plaza dedicada. El MLX minado queda bloqueado 30 días, menos con una plaza dedicada; consulta los riesgos.

6Preguntas

¿Cuánta RAM necesito para DeepSeek V4.1 Flash?

Unos 163 GB para la versión DwarfStar de 2 bits con las tablas Engram en el SSD, unos 316 GB para su versión de 4 bits, y la descarga entera, de 343 a 432 GB, para las versiones MLX. Suma margen para macOS y el contexto.

¿Puede una MacBook Pro ejecutar DeepSeek V4.1 Flash?

Solo una de 128 GB, y solo leyendo la versión de 2 bits desde el SSD con DwarfStar, algo experimental y lento. Funciona entero en memoria en una Mac Studio con 256 o 512 GB.

¿Qué velocidad tiene DeepSeek V4.1 Flash en una M3 Ultra?

La primera prueba pública en una M3 Ultra con 512 GB escribió unos 6,5 tokens por segundo y leyó los prompts a unos 275 tokens por segundo, con una versión MLX. El ancho de banda de memoria permitiría unos 90 tokens por segundo, así que el software más nuevo debería ser más rápido.

¿Hay una versión MLX de DeepSeek V4.1 Flash 1017?

Sí. La comunidad MLX publicó versiones de 1017 de 343 GB y 432 GB. Funcionan con mlx-vlm o LM Studio en una Mac con 512 GB de memoria.

¿DeepSeek V4.1 Flash funciona en Ollama?

Todavía no en Ollama ni en llama.cpp estándar. Los archivos GGUF necesitan una rama de llama.cpp compilada desde el código fuente, o puedes usar DwarfStar, que es compatible con el modelo en Mac.