Mac에서 DeepSeek V4.1 Flash 실행하기.

1필요한 메모리

이 모델의 파라미터는 5,520억 개지만, 다운로드 중 약 189GiB는 토큰마다 몇 행씩만 읽는 Engram 조회 테이블 두 개입니다. 이 테이블을 SSD에 두는 런타임은 다운로드 크기보다 훨씬 적은 메모리로 충분하고, 전부 불러오는 빌드는 그 전부가 필요합니다(Hugging Face의 antirez 설명).

macOS와 컨텍스트를 위한 여유도 남겨 두세요. 토큰당 약 890바이트라서 10만 토큰 대화도 0.1GB 미만이 늘어날 뿐이니, 결정적인 것은 가중치입니다.

2어떤 Mac에서 실행되나

모델은 Mac의 내장 SSD에 두세요. 생성하는 동안 Engram 행과 스트리밍되는 가중치를 디스크에서 읽기 때문에, 외장 드라이브는 훨씬 느립니다. 다운로드도 준비해야 합니다. 250~520GB에, 파일을 합치는 동안 쓸 여유 공간이 더 필요합니다.

3얼마나 빠른가

Mac에서 처음 공개된 벤치마크는 512GB M3 Ultra Mac Studio에서 9월판 가중치를 4비트와 8비트를 섞은 MLX 빌드로 실행한 것입니다(GitHub의 벤치마크).

하드웨어가 낼 수 있는 속도에 한참 못 미칩니다. 생성할 때는 토큰마다 약 160억 개 파라미터, 4비트로 약 9GB를 읽으므로, 메모리 대역폭으로 본 대화 하나의 상한은 M3 Ultra(819GB/s)에서 초당 약 90토큰, M5 Ultra(1.2TB/s)에서 초당 약 130토큰입니다. 새 아키텍처 지원이 나온 지 몇 주밖에 안 되었으니 새 런타임이 이 격차를 어느 정도 줄일 것으로 보입니다. 최신 수치는 MLX Bench와 각 런타임의 릴리스 노트에서 비교하세요.

프롬프트 읽기는 메모리보다 연산 성능에 좌우됩니다. M5 세대 칩은 GPU에 뉴럴 가속기가 있어, MLX로 프롬프트를 이전 칩보다 몇 배 빠르게 읽습니다(Apple).

4실행 방법

DwarfStar(ds4): 메모리를 가장 적게 쓰는 방법

DwarfStar는 DeepSeek Flash 모델 전용으로 만든 오픈소스 엔진으로, 96GB 이상 Mac에서는 Metal로 실행되고 그보다 작은 Mac은 SSD 스트리밍을 씁니다. 어떤 모드에서든 Engram 테이블은 디스크에 둡니다(GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Mac 메모리가 256GB 이상이면 --ssd-streaming을 빼세요. ./ds4-server는 로컬 API로 모델을 제공합니다.

llama.cpp: 1017 GGUF 파일

기본 llama.cpp와 Ollama는 아직 V4.1 Flash를 지원하지 않습니다. 1017 GGUF 파일은 llama.cpp 브랜치로 만들어졌으며, 이 브랜치를 직접 빌드해야 합니다. Engram 테이블은 CPU 쪽에 두는 것이 권장됩니다(Hugging Face). 지금은 텍스트 전용입니다.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: Apple Silicon용 1017 빌드

MLX 커뮤니티의 1017 빌드는 대부분의 가중치에서 DeepSeek 원래의 FP4와 FP8 정밀도를 유지하고, 멀티 토큰 예측 가중치도 포함합니다. 이미지도 처리하는 mlx-vlm으로 불러오며, LM Studio에도 올라와 있습니다. 512GB Mac이 필요합니다.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

로컬 모델이 처음이라면 Mac에서 LLM 실행하기와 MLX vs Ollama vs llama.cpp부터 시작하세요.

5512GB Mac이 없다면? 선택지

• API를 쓰세요. DeepSeek은 deepseek-flash에 입력 100만 토큰당 0.15달러, 출력 100만 토큰당 0.60달러를 받습니다. DeepSeek V4.1 Flash 1017을 참고하세요.
• 더 작은 오픈 모델을 실행하세요. 64GB Mac은 70B급 모델을, 128GB Mac은 gpt-oss-120b를 잘 돌립니다. 로컬 LLM에 가장 좋은 Mac을 참고하세요.
• Mac을 연결하세요. Thunderbolt 5로 Mac 두 대 이상을 묶으면 한 대로는 담을 수 없는 모델도 올릴 수 있습니다. Mac AI 클러스터를 참고하세요.
• Mac이 벌게 하세요. MLX Node는 모든 Apple Silicon Mac에서 MLX Network의 AI 작업을 실행하고 MLX 토큰을 법니다. 전용 좌석 없이 하루 최대 1 MLX입니다. 채굴한 MLX는 30일 동안 잠기며, 전용 좌석이 있으면 더 짧습니다. 위험 고지를 확인하세요.

6자주 묻는 질문

DeepSeek V4.1 Flash에는 RAM이 얼마나 필요한가요?

Engram 테이블을 SSD에 둔 DwarfStar 2비트 빌드는 약 163GB, 4비트 빌드는 약 316GB, MLX 빌드는 다운로드 전체인 343~432GB가 필요합니다. 여기에 macOS와 컨텍스트를 위한 여유를 더하세요.

MacBook Pro로 DeepSeek V4.1 Flash를 실행할 수 있나요?

128GB 모델만, 그것도 DwarfStar로 2비트 빌드를 SSD에서 스트리밍해야 하며 실험적이고 느립니다. 256GB나 512GB Mac Studio에서는 전부 메모리에서 실행됩니다.

M3 Ultra에서 DeepSeek V4.1 Flash는 얼마나 빠른가요?

512GB M3 Ultra에서 처음 공개된 실행은 MLX 빌드로 초당 약 6.5토큰을 생성하고 프롬프트를 초당 약 275토큰으로 읽었습니다. 메모리 대역폭상으로는 초당 약 90토큰까지 가능하니, 새 소프트웨어는 더 빨라질 것입니다.

DeepSeek V4.1 Flash 1017의 MLX 버전이 있나요?

네. MLX 커뮤니티가 343GB와 432GB 크기의 1017 빌드를 공개했습니다. 메모리 512GB Mac에서 mlx-vlm이나 LM Studio로 실행됩니다.

DeepSeek V4.1 Flash를 Ollama에서 쓸 수 있나요?

표준 Ollama와 llama.cpp에서는 아직 안 됩니다. GGUF 파일에는 소스에서 빌드한 llama.cpp 브랜치가 필요하고, Mac에서 이 모델을 지원하는 DwarfStar를 쓸 수도 있습니다.