Chạy DeepSeek V4.1 Flash trên Mac.

1Cần bao nhiêu bộ nhớ

Mô hình có 552 tỷ tham số, nhưng khoảng 189 GiB trong bản tải về là hai bảng tra cứu Engram, mỗi token chỉ đọc vài hàng. Runtime nào để các bảng này trên SSD sẽ cần ít bộ nhớ hơn nhiều so với dung lượng tải về; các bản nạp toàn bộ thì cần đủ toàn bộ (antirez trên Hugging Face).

Hãy chừa chỗ cho macOS và cho ngữ cảnh: với khoảng 890 byte mỗi token, một cuộc trò chuyện 100.000 token chỉ thêm chưa tới 0,1 GB, nên trọng số mới là yếu tố quyết định.

2Mac nào chạy được

Hãy để mô hình trên SSD trong của Mac: các hàng Engram và trọng số được stream đều đọc từ ổ đĩa trong lúc sinh văn bản, và ổ ngoài chậm hơn nhiều. Cũng cần tính trước dung lượng tải về: 250 đến 520 GB, cộng thêm chỗ trống trong lúc ghép các tệp.

3Chạy nhanh đến đâu

Benchmark công khai đầu tiên trên Mac chạy một bản MLX trộn 4-bit và 8-bit của trọng số tháng 9 trên Mac Studio M3 Ultra 512 GB (benchmark trên GitHub):

Con số này thấp hơn nhiều so với khả năng của phần cứng. Khi sinh văn bản, mỗi token đọc khoảng 16 tỷ tham số, khoảng 9 GB ở 4-bit, nên băng thông bộ nhớ giới hạn một cuộc trò chuyện ở mức khoảng 90 token mỗi giây trên M3 Ultra (819 GB/s) và 130 trên M5 Ultra (1,2 TB/s). Kiến trúc mới chỉ mới được hỗ trợ vài tuần, nên các runtime mới hơn có thể sẽ thu hẹp một phần khoảng cách; hãy so sánh số liệu mới nhất trên MLX Bench và trong ghi chú phát hành của các runtime.

Việc đọc prompt bị giới hạn bởi sức tính toán chứ không phải bộ nhớ. Chip thế hệ M5 có bộ tăng tốc nơ-ron trong GPU và đọc prompt nhanh hơn chip đời trước nhiều lần với MLX (Apple).

4Cách chạy

DwarfStar (ds4): tiết kiệm bộ nhớ nhất

DwarfStar là engine mã nguồn mở dành riêng cho các mô hình DeepSeek Flash, hỗ trợ Metal cho Mac từ 96 GB và stream từ SSD cho máy nhỏ hơn. Ở mọi chế độ, nó đều để các bảng Engram trên ổ đĩa (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Bỏ --ssd-streaming khi Mac có từ 256 GB trở lên. ./ds4-server phục vụ mô hình qua một API cục bộ.

llama.cpp: các tệp GGUF của 1017

llama.cpp bản chính và Ollama chưa hỗ trợ V4.1 Flash. Các tệp GGUF của 1017 được tạo bằng một nhánh llama.cpp mà bạn phải tự build; nên để các bảng Engram ở phía CPU (Hugging Face). Hiện các tệp này chỉ hỗ trợ văn bản.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: các bản 1017 cho Apple Silicon

Các bản 1017 của cộng đồng MLX giữ độ chính xác FP4 và FP8 gốc của DeepSeek cho phần lớn trọng số và có kèm trọng số dự đoán nhiều token. Chúng được nạp qua mlx-vlm, vốn xử lý được cả hình ảnh, và cũng có trong LM Studio. Cần Mac 512 GB.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

Mới làm quen với mô hình chạy local? Hãy bắt đầu với chạy LLM trên Mac và MLX, Ollama và llama.cpp.

5Không có Mac 512 GB? Các lựa chọn của bạn

• Dùng API. DeepSeek tính $0,15 cho mỗi triệu token đầu vào và $0,60 cho mỗi triệu token đầu ra với deepseek-flash; xem DeepSeek V4.1 Flash 1017.
• Chạy một mô hình mở nhỏ hơn. Mac 64 GB chạy được mô hình cỡ 70B và Mac 128 GB chạy tốt gpt-oss-120b: xem Mac tốt nhất để chạy LLM cục bộ.
• Ghép nhiều Mac lại. Hai máy Mac trở lên nối qua Thunderbolt 5 có thể chứa những mô hình mà một máy không chứa nổi: xem cụm AI bằng Mac.
• Để Mac kiếm tiền. MLX Node chạy tác vụ AI cho MLX Network trên mọi Mac Apple Silicon và kiếm token MLX, tối đa 1 MLX một ngày khi không có ghế riêng. MLX được đào bị khóa 30 ngày, ngắn hơn khi có ghế riêng; xem phần rủi ro.

6Câu hỏi

Chạy DeepSeek V4.1 Flash cần bao nhiêu RAM?

Khoảng 163 GB cho bản DwarfStar 2-bit với các bảng Engram để trên SSD, khoảng 316 GB cho bản 4-bit của nó, và toàn bộ dung lượng tải về, 343 đến 432 GB, cho các bản MLX. Cộng thêm chỗ cho macOS và ngữ cảnh.

MacBook Pro có chạy được DeepSeek V4.1 Flash không?

Chỉ máy 128 GB, và chỉ bằng cách stream bản 2-bit từ SSD với DwarfStar, vốn còn thử nghiệm và chậm. Mô hình chạy hoàn toàn trong bộ nhớ trên Mac Studio 256 hoặc 512 GB.

DeepSeek V4.1 Flash chạy nhanh đến đâu trên M3 Ultra?

Lần chạy công khai đầu tiên trên M3 Ultra 512 GB với một bản MLX sinh khoảng 6,5 token mỗi giây và đọc prompt khoảng 275 token mỗi giây. Băng thông bộ nhớ cho phép khoảng 90 token mỗi giây, nên phần mềm mới hơn hẳn sẽ nhanh hơn.

Có bản MLX của DeepSeek V4.1 Flash 1017 không?

Có. Cộng đồng MLX đã phát hành các bản 1017 dung lượng 343 GB và 432 GB. Chúng chạy bằng mlx-vlm hoặc LM Studio trên Mac có 512 GB bộ nhớ.

DeepSeek V4.1 Flash có chạy trong Ollama không?

Chưa chạy được trên Ollama hay llama.cpp bản chuẩn. Các tệp GGUF cần một nhánh llama.cpp tự build từ mã nguồn, hoặc bạn có thể dùng DwarfStar, vốn hỗ trợ mô hình này trên Mac.