Rode o DeepSeek V4.1 Flash no Mac.

1Quanta memória ele precisa

O modelo tem 552 bilhões de parâmetros, mas cerca de 189 GiB do download são duas tabelas de consulta Engram, das quais se leem algumas linhas por token. Runtimes que deixam essas tabelas no SSD precisam de bem menos memória que o tamanho do download; versões que carregam tudo precisam dela inteira (antirez no Hugging Face).

Deixe espaço para o macOS e para o contexto: a cerca de 890 bytes por token, uma conversa de 100.000 tokens acrescenta menos de 0,1 GB, então quem decide são os pesos.

2Qual Mac consegue rodar

Mantenha o modelo no SSD interno do Mac: linhas Engram e pesos em streaming são lidos do disco durante a geração, e um disco externo é bem mais lento. Planeje o download também: 250 a 520 GB, mais espaço livre enquanto os arquivos são unidos.

3Qual a velocidade

O primeiro benchmark público em Mac rodou uma versão MLX mista de 4 e 8 bits dos pesos de setembro em um Mac Studio M3 Ultra com 512 GB (benchmark no GitHub):

Isso está muito abaixo do que o hardware permite. Ao escrever, são lidos cerca de 16 bilhões de parâmetros por token, cerca de 9 GB em 4 bits, então a largura de banda da memória limita uma conversa a uns 90 tokens por segundo em um M3 Ultra (819 GB/s) e 130 em um M5 Ultra (1,2 TB/s). O suporte à nova arquitetura tem poucas semanas, então espere que runtimes mais novos reduzam parte dessa diferença; compare os números atuais no MLX Bench e nas notas de versão dos runtimes.

A leitura de prompts é limitada pela computação, não pela memória. Os chips da geração M5 têm aceleradores neurais na GPU e, com MLX, leem prompts várias vezes mais rápido que chips anteriores (Apple).

4Como rodar

DwarfStar (ds4): o mais econômico em memória

O DwarfStar é um motor de código aberto feito para os modelos DeepSeek Flash, com suporte a Metal para Macs a partir de 96 GB e streaming do SSD para os menores. Ele mantém as tabelas Engram no disco em todos os modos (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Tire o --ssd-streaming quando o Mac tiver 256 GB ou mais. O ./ds4-server serve o modelo por uma API local.

llama.cpp: os arquivos GGUF do 1017

O llama.cpp principal e o Ollama ainda não suportam o V4.1 Flash. Os arquivos GGUF do 1017 foram feitos com um branch do llama.cpp que você mesmo compila; a recomendação é manter as tabelas Engram do lado da CPU (Hugging Face). Por enquanto, os arquivos são só de texto.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: as versões do 1017 para Apple Silicon

As versões do 1017 da comunidade MLX mantêm a precisão FP4 e FP8 original da DeepSeek na maioria dos pesos e incluem os pesos de predição de múltiplos tokens. Elas carregam pelo mlx-vlm, que também lida com imagens, e o LM Studio também as lista. Precisam de um Mac com 512 GB.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

Novo em modelos locais? Comece por rodar um LLM no seu Mac e MLX vs Ollama vs llama.cpp.

5Sem um Mac de 512 GB? Suas opções

• Use a API. A DeepSeek cobra US$ 0,15 por milhão de tokens de entrada e US$ 0,60 por milhão de tokens de saída pelo deepseek-flash; veja DeepSeek V4.1 Flash 1017.
• Rode um modelo aberto menor. Um Mac com 64 GB roda modelos da classe 70B e um com 128 GB roda bem o gpt-oss-120b: veja o melhor Mac para LLM local.
• Junte Macs. Dois ou mais Macs via Thunderbolt 5 comportam modelos que nenhum comportaria sozinho: veja clusters de IA com Mac.
• Deixe seu Mac ganhar. O MLX Node roda trabalhos de IA para a MLX Network em qualquer Mac com Apple Silicon e ganha tokens MLX, até 1 MLX por dia sem vaga dedicada. O MLX minerado fica bloqueado por 30 dias, menos com uma vaga dedicada; veja os riscos.

6Perguntas

Quanta RAM preciso para o DeepSeek V4.1 Flash?

Cerca de 163 GB para a versão DwarfStar de 2 bits com as tabelas Engram no SSD, cerca de 316 GB para a versão de 4 bits dela, e o download inteiro, de 343 a 432 GB, para as versões MLX. Some espaço para o macOS e o contexto.

Um MacBook Pro roda o DeepSeek V4.1 Flash?

Só um de 128 GB, e só lendo a versão de 2 bits do SSD com o DwarfStar, o que é experimental e lento. Ele roda inteiro na memória em um Mac Studio com 256 ou 512 GB.

Qual a velocidade do DeepSeek V4.1 Flash em um M3 Ultra?

A primeira execução pública em um M3 Ultra de 512 GB escreveu cerca de 6,5 tokens por segundo e leu prompts a cerca de 275 tokens por segundo, com uma versão MLX. A largura de banda da memória permitiria cerca de 90 tokens por segundo, então softwares mais novos devem ser mais rápidos.

Existe uma versão MLX do DeepSeek V4.1 Flash 1017?

Sim. A comunidade MLX publicou versões do 1017 de 343 GB e 432 GB. Elas rodam com mlx-vlm ou LM Studio em um Mac com 512 GB de memória.

O DeepSeek V4.1 Flash funciona no Ollama?

Ainda não no Ollama nem no llama.cpp padrão. Os arquivos GGUF precisam de um branch do llama.cpp compilado a partir do código-fonte, ou você pode usar o DwarfStar, que suporta o modelo em Macs.