在 Mac 上執行 DeepSeek V4.1 Flash。

DeepSeek V4.1 Flash 是開放模型,也是能下載到的最強模型之一,但它很大:權重約 510 GB。以下說明哪些 Mac 裝得下、該選哪個版本、跑得多快,以及上手的指令。

更新於

重點整理

  • 4-bit 和 MLX 版本需要 512 GB 的 Mac Studio;把 Engram 表留在 SSD 上的 2-bit 版本,256 GB 就夠。
  • 128 GB 的 MacBook Pro 或 Mac Studio 可以從 SSD 串流讀取來執行 2-bit 版本,也可以透過 Thunderbolt 5 和另一台 128 GB 的 Mac 分擔。
  • 第一個公開的 Mac 執行結果來自 512 GB 的 M3 Ultra:每秒產生約 6.5 個 token,讀取提示詞約每秒 275 個 token。
  • 三種執行方式:DwarfStar(ds4)、用於 GGUF 檔案的 llama.cpp 分支,或透過 mlx-vlm 和 LM Studio 執行 MLX 版本。

1需要多少記憶體

這個模型有 5,520 億參數,但下載內容中約 189 GiB 是兩張 Engram 查找表,每個 token 只讀幾列。把這些表留在 SSD 上的執行環境,所需記憶體遠小於下載大小;全部載入記憶體的版本則需要和下載大小相當的記憶體(antirez 在 Hugging Face 上的說明)。

版本權重下載大小記憶體占用執行工具
DwarfStar Q29 月版366 GB163 GB,Engram 在 SSD 上ds4
DwarfStar Q49 月版519 GB316 GB,Engram 在 SSD 上ds4
GGUF Q2_K1017265 GB未公布llama.cpp 分支
GGUF Q4_K_M1017445 GB未公布llama.cpp 分支
MLX oQ2.5e1017343 GB整個模型mlx-vlm、LM Studio
MLX oQ4e1017432 GB整個模型mlx-vlm、LM Studio
大小出自各版本在 Hugging Face 上的頁面:DwarfStar、GGUF 1017、MLX oQ4e、MLX oQ2.5e。上下文和執行環境緩衝區另計。

要替 macOS 和上下文留出空間:每個 token 約 890 位元組,一段 10 萬 token 的對話只增加不到 0.1 GB,所以真正決定的是權重。

2哪些 Mac 能執行

Mac能執行什麼方式
Mac Studio,512 GB(M3 Ultra 或 M5 Ultra)所有版本,包括 4-bit 和 MLX 1017 版本完全在記憶體中
Mac Studio,256 GBDwarfStar Q2在記憶體中,Engram 表在 SSD 上
兩台 128 GB 的 Mac,以 Thunderbolt 5 連接DwarfStar Q2透過 RDMA 分攤到兩台
MacBook Pro 或 Mac Studio,128 GBDwarfStar Q2從 SSD 串流讀取,實驗性,較慢
64 GB 或更少不實際使用 API 或較小的模型
出自 DwarfStar 和各版本頁面。512 GB 的 Mac Studio 是 Apple 的 M3 Ultra 或 M5 Ultra 機型。

把模型放在 Mac 的內建 SSD 上:產生過程中要從磁碟讀取 Engram 列和串流權重,外接硬碟慢得多。也要為下載做好準備:250 到 520 GB,合併檔案時還需要額外的可用空間。

3跑得多快

Mac 上第一個公開效能測試,在一台 512 GB 的 M3 Ultra Mac Studio 上執行 9 月權重的 4/8-bit 混合 MLX 版本(GitHub 上的效能測試):

提示詞長度讀取提示詞產生峰值記憶體
8,192 個 token275 token/s6.5 token/s429 GB
32,768 個 token295 token/s6.3 token/s431 GB
MLX 0.32.2 搭配開發版 mlx-lm,於 2026 年 9 月 10 日測試。

這遠低於硬體的上限。每產生一個 token 要讀取約 160 億參數,4-bit 下約 9 GB,因此記憶體頻寬把單一對話的速度上限定在 M3 Ultra(819 GB/s)約每秒 90 個 token、M5 Ultra(1.2 TB/s)約每秒 130 個 token。對這個新架構的支援才出現幾週,較新的執行環境可望縮小部分差距;最新數據可在 MLX Bench 和各執行環境的版本說明中比較。

讀取提示詞受限於運算能力而非記憶體。M5 世代晶片的 GPU 內建神經加速器,用 MLX 讀取提示詞比早期晶片快好幾倍(Apple)。

4如何執行

DwarfStar(ds4):最省記憶體

DwarfStar 是專為 DeepSeek Flash 模型打造的開源引擎,在 96 GB 起的 Mac 上以 Metal 執行,記憶體較小的 Mac 可用 SSD 串流讀取。不論哪種模式,它都把 Engram 表留在磁碟上(GitHub)。

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Mac 記憶體為 256 GB 以上時,拿掉 --ssd-streaming。./ds4-server 透過本機 API 提供模型服務。

llama.cpp:1017 的 GGUF 檔案

主線 llama.cpp 和 Ollama 尚未支援 V4.1 Flash。1017 的 GGUF 檔案是用一個 llama.cpp 分支製作的,需要自行編譯;建議把 Engram 表留在 CPU 端(Hugging Face)。這些檔案目前只支援文字。

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX:專為 Apple 晶片打造的 1017 版本

MLX 社群的 1017 版本對大部分權重保留了 DeepSeek 原始的 FP4 和 FP8 精度,並包含多 token 預測權重。它們透過 mlx-vlm 載入(也能處理影像),LM Studio 中也找得到。需要 512 GB 的 Mac。

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

剛接觸本機模型?先看在 Mac 上執行 LLM 和 MLX、Ollama 與 llama.cpp 比較。

5沒有 512 GB 的 Mac?你還有這些選擇

  • 使用 API。 DeepSeek 對 deepseek-flash 的收費為每百萬輸入 token 0.15 美元、每百萬輸出 token 0.60 美元;請見 DeepSeek V4.1 Flash 1017。
  • 執行較小的開源模型。 64 GB 的 Mac 能執行 70B 級模型,128 GB 的 Mac 能順暢執行 gpt-oss-120b:請見本機跑 LLM 的最佳 Mac。
  • 把多台 Mac 串起來。 兩台以上的 Mac 透過 Thunderbolt 5 連接,能裝下單台裝不下的模型:請見 Mac AI 叢集。
  • 讓你的 Mac 賺取收益。 MLX Node 在任何 Apple 晶片 Mac 上為 MLX Network 執行 AI 工作並賺取 MLX 代幣,沒有專屬席位時每天最多 1 MLX。挖得的 MLX 鎖定 30 天,有專屬席位則更短;請閱讀風險揭露。

6常見問題

執行 DeepSeek V4.1 Flash 需要多少記憶體?
2-bit 的 DwarfStar 版本把 Engram 表留在 SSD 上時約需 163 GB,它的 4-bit 版本約 316 GB,MLX 版本則需要整個下載大小,也就是 343 到 432 GB。另外還要替 macOS 和上下文留出空間。
MacBook Pro 能執行 DeepSeek V4.1 Flash 嗎?
只有 128 GB 的機型可以,而且只能用 DwarfStar 從 SSD 串流讀取 2-bit 版本,屬於實驗性質,速度很慢。在 256 或 512 GB 的 Mac Studio 上可以完全在記憶體中執行。
DeepSeek V4.1 Flash 在 M3 Ultra 上有多快?
在 512 GB M3 Ultra 上的第一次公開執行使用 MLX 版本,每秒產生約 6.5 個 token,讀取提示詞約每秒 275 個 token。依記憶體頻寬可達每秒約 90 個 token,所以較新的軟體應該會更快。
DeepSeek V4.1 Flash 1017 有 MLX 版本嗎?
有。MLX 社群發布了 343 GB 和 432 GB 兩個 1017 版本,可在 512 GB 記憶體的 Mac 上用 mlx-vlm 或 LM Studio 執行。
DeepSeek V4.1 Flash 能在 Ollama 中使用嗎?
標準版 Ollama 和 llama.cpp 目前還不行。GGUF 檔案需要從原始碼編譯的 llama.cpp 分支,也可以改用在 Mac 上支援這個模型的 DwarfStar。

資料來源

  1. antirez 在 Hugging Face 上的說明huggingface.co
  2. GGUF 1017huggingface.co
  3. MLX oQ4ehuggingface.co
  4. MLX oQ2.5ehuggingface.co
  5. DwarfStargithub.com
  6. M3 Ultrasupport.apple.com
  7. M5 Ultraapple.com
  8. GitHub 上的效能測試github.com
  9. Applemachinelearning.apple.com

延伸閱讀

在 Mac 上本機執行 DeepSeek V4.1 Flash:記憶體、速度、選哪台 Mac | MLX