重點整理
- 4-bit 和 MLX 版本需要 512 GB 的 Mac Studio;把 Engram 表留在 SSD 上的 2-bit 版本,256 GB 就夠。
- 128 GB 的 MacBook Pro 或 Mac Studio 可以從 SSD 串流讀取來執行 2-bit 版本,也可以透過 Thunderbolt 5 和另一台 128 GB 的 Mac 分擔。
- 第一個公開的 Mac 執行結果來自 512 GB 的 M3 Ultra:每秒產生約 6.5 個 token,讀取提示詞約每秒 275 個 token。
- 三種執行方式:DwarfStar(ds4)、用於 GGUF 檔案的 llama.cpp 分支,或透過 mlx-vlm 和 LM Studio 執行 MLX 版本。
1需要多少記憶體
這個模型有 5,520 億參數,但下載內容中約 189 GiB 是兩張 Engram 查找表,每個 token 只讀幾列。把這些表留在 SSD 上的執行環境,所需記憶體遠小於下載大小;全部載入記憶體的版本則需要和下載大小相當的記憶體(antirez 在 Hugging Face 上的說明)。
| 版本 | 權重 | 下載大小 | 記憶體占用 | 執行工具 |
|---|---|---|---|---|
| DwarfStar Q2 | 9 月版 | 366 GB | 163 GB,Engram 在 SSD 上 | ds4 |
| DwarfStar Q4 | 9 月版 | 519 GB | 316 GB,Engram 在 SSD 上 | ds4 |
| GGUF Q2_K | 1017 | 265 GB | 未公布 | llama.cpp 分支 |
| GGUF Q4_K_M | 1017 | 445 GB | 未公布 | llama.cpp 分支 |
| MLX oQ2.5e | 1017 | 343 GB | 整個模型 | mlx-vlm、LM Studio |
| MLX oQ4e | 1017 | 432 GB | 整個模型 | mlx-vlm、LM Studio |
要替 macOS 和上下文留出空間:每個 token 約 890 位元組,一段 10 萬 token 的對話只增加不到 0.1 GB,所以真正決定的是權重。
2哪些 Mac 能執行
| Mac | 能執行什麼 | 方式 |
|---|---|---|
| Mac Studio,512 GB(M3 Ultra 或 M5 Ultra) | 所有版本,包括 4-bit 和 MLX 1017 版本 | 完全在記憶體中 |
| Mac Studio,256 GB | DwarfStar Q2 | 在記憶體中,Engram 表在 SSD 上 |
| 兩台 128 GB 的 Mac,以 Thunderbolt 5 連接 | DwarfStar Q2 | 透過 RDMA 分攤到兩台 |
| MacBook Pro 或 Mac Studio,128 GB | DwarfStar Q2 | 從 SSD 串流讀取,實驗性,較慢 |
| 64 GB 或更少 | 不實際 | 使用 API 或較小的模型 |
把模型放在 Mac 的內建 SSD 上:產生過程中要從磁碟讀取 Engram 列和串流權重,外接硬碟慢得多。也要為下載做好準備:250 到 520 GB,合併檔案時還需要額外的可用空間。
3跑得多快
Mac 上第一個公開效能測試,在一台 512 GB 的 M3 Ultra Mac Studio 上執行 9 月權重的 4/8-bit 混合 MLX 版本(GitHub 上的效能測試):
| 提示詞長度 | 讀取提示詞 | 產生 | 峰值記憶體 |
|---|---|---|---|
| 8,192 個 token | 275 token/s | 6.5 token/s | 429 GB |
| 32,768 個 token | 295 token/s | 6.3 token/s | 431 GB |
這遠低於硬體的上限。每產生一個 token 要讀取約 160 億參數,4-bit 下約 9 GB,因此記憶體頻寬把單一對話的速度上限定在 M3 Ultra(819 GB/s)約每秒 90 個 token、M5 Ultra(1.2 TB/s)約每秒 130 個 token。對這個新架構的支援才出現幾週,較新的執行環境可望縮小部分差距;最新數據可在 MLX Bench 和各執行環境的版本說明中比較。
讀取提示詞受限於運算能力而非記憶體。M5 世代晶片的 GPU 內建神經加速器,用 MLX 讀取提示詞比早期晶片快好幾倍(Apple)。
4如何執行
DwarfStar(ds4):最省記憶體
DwarfStar 是專為 DeepSeek Flash 模型打造的開源引擎,在 96 GB 起的 Mac 上以 Metal 執行,記憶體較小的 Mac 可用 SSD 串流讀取。不論哪種模式,它都把 Engram 表留在磁碟上(GitHub)。
git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768Mac 記憶體為 256 GB 以上時,拿掉 --ssd-streaming。./ds4-server 透過本機 API 提供模型服務。
llama.cpp:1017 的 GGUF 檔案
主線 llama.cpp 和 Ollama 尚未支援 V4.1 Flash。1017 的 GGUF 檔案是用一個 llama.cpp 分支製作的,需要自行編譯;建議把 Engram 表留在 CPU 端(Hugging Face)。這些檔案目前只支援文字。
git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"MLX:專為 Apple 晶片打造的 1017 版本
MLX 社群的 1017 版本對大部分權重保留了 DeepSeek 原始的 FP4 和 FP8 精度,並包含多 token 預測權重。它們透過 mlx-vlm 載入(也能處理影像),LM Studio 中也找得到。需要 512 GB 的 Mac。
pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200剛接觸本機模型?先看在 Mac 上執行 LLM 和 MLX、Ollama 與 llama.cpp 比較。
5沒有 512 GB 的 Mac?你還有這些選擇
- 使用 API。 DeepSeek 對
deepseek-flash的收費為每百萬輸入 token 0.15 美元、每百萬輸出 token 0.60 美元;請見 DeepSeek V4.1 Flash 1017。 - 執行較小的開源模型。 64 GB 的 Mac 能執行 70B 級模型,128 GB 的 Mac 能順暢執行 gpt-oss-120b:請見本機跑 LLM 的最佳 Mac。
- 把多台 Mac 串起來。 兩台以上的 Mac 透過 Thunderbolt 5 連接,能裝下單台裝不下的模型:請見 Mac AI 叢集。
- 讓你的 Mac 賺取收益。 MLX Node 在任何 Apple 晶片 Mac 上為 MLX Network 執行 AI 工作並賺取 MLX 代幣,沒有專屬席位時每天最多 1 MLX。挖得的 MLX 鎖定 30 天,有專屬席位則更短;請閱讀風險揭露。
6常見問題
- 執行 DeepSeek V4.1 Flash 需要多少記憶體?
- 2-bit 的 DwarfStar 版本把 Engram 表留在 SSD 上時約需 163 GB,它的 4-bit 版本約 316 GB,MLX 版本則需要整個下載大小,也就是 343 到 432 GB。另外還要替 macOS 和上下文留出空間。
- MacBook Pro 能執行 DeepSeek V4.1 Flash 嗎?
- 只有 128 GB 的機型可以,而且只能用 DwarfStar 從 SSD 串流讀取 2-bit 版本,屬於實驗性質,速度很慢。在 256 或 512 GB 的 Mac Studio 上可以完全在記憶體中執行。
- DeepSeek V4.1 Flash 在 M3 Ultra 上有多快?
- 在 512 GB M3 Ultra 上的第一次公開執行使用 MLX 版本,每秒產生約 6.5 個 token,讀取提示詞約每秒 275 個 token。依記憶體頻寬可達每秒約 90 個 token,所以較新的軟體應該會更快。
- DeepSeek V4.1 Flash 1017 有 MLX 版本嗎?
- 有。MLX 社群發布了 343 GB 和 432 GB 兩個 1017 版本,可在 512 GB 記憶體的 Mac 上用 mlx-vlm 或 LM Studio 執行。
- DeepSeek V4.1 Flash 能在 Ollama 中使用嗎?
- 標準版 Ollama 和 llama.cpp 目前還不行。GGUF 檔案需要從原始碼編譯的 llama.cpp 分支,也可以改用在 Mac 上支援這個模型的 DwarfStar。
資料來源
- antirez 在 Hugging Face 上的說明huggingface.co
- GGUF 1017huggingface.co
- MLX oQ4ehuggingface.co
- MLX oQ2.5ehuggingface.co
- DwarfStargithub.com
- M3 Ultrasupport.apple.com
- M5 Ultraapple.com
- GitHub 上的效能測試github.com
- Applemachinelearning.apple.com