รัน DeepSeek V4.1 Flash บน Mac

1ต้องใช้หน่วยความจำเท่าไร

โมเดลมี 552,000 ล้านพารามิเตอร์ แต่ราว 189 GiB ของไฟล์ดาวน์โหลดคือตารางค้นหา Engram สองตารางที่อ่านเพียงไม่กี่แถวต่อโทเค็น รันไทม์ที่เก็บตารางเหล่านี้ไว้บน SSD จึงใช้หน่วยความจำน้อยกว่าขนาดไฟล์ดาวน์โหลดมาก ส่วนบิลด์ที่โหลดทุกอย่างต้องใช้ทั้งหมด (antirez บน Hugging Face)

เผื่อพื้นที่ให้ macOS และคอนเท็กซ์ด้วย: ที่ราว 890 ไบต์ต่อโทเค็น บทสนทนา 100,000 โทเค็นเพิ่มไม่ถึง 0.1 GB ตัวที่ชี้ขาดจึงเป็นค่าน้ำหนัก

2Mac รุ่นไหนรันได้

เก็บโมเดลไว้บน SSD ภายในของ Mac: แถว Engram และค่าน้ำหนักที่สตรีมจะถูกอ่านจากดิสก์ระหว่างสร้างข้อความ และไดรฟ์ภายนอกช้ากว่ามาก วางแผนเรื่องดาวน์โหลดด้วย: 250 ถึง 520 GB บวกพื้นที่ว่างระหว่างรวมไฟล์

3รันได้เร็วแค่ไหน

เบนช์มาร์กสาธารณะครั้งแรกบน Mac รันบิลด์ MLX แบบผสม 4 และ 8 บิตของค่าน้ำหนักรุ่นกันยายน บน Mac Studio M3 Ultra 512 GB (เบนช์มาร์กบน GitHub):

ตัวเลขนี้ต่ำกว่าที่ฮาร์ดแวร์ทำได้มาก การเขียนแต่ละโทเค็นต้องอ่านราว 16,000 ล้านพารามิเตอร์ หรือราว 9 GB ที่ 4 บิต แบนด์วิดท์หน่วยความจำจึงจำกัดแชตเดียวไว้ที่ราว 90 โทเค็นต่อวินาทีบน M3 Ultra (819 GB/s) และ 130 บน M5 Ultra (1.2 TB/s) การรองรับสถาปัตยกรรมใหม่นี้เพิ่งมีมาได้ไม่กี่สัปดาห์ รันไทม์รุ่นใหม่จึงน่าจะปิดช่องว่างได้บางส่วน เปรียบเทียบตัวเลขล่าสุดได้ที่ MLX Bench และในบันทึกประจำรุ่นของรันไทม์

การอ่านพรอมต์ถูกจำกัดด้วยพลังประมวลผล ไม่ใช่หน่วยความจำ ชิปรุ่น M5 มีตัวเร่งประสาท (neural accelerator) ใน GPU และอ่านพรอมต์ได้เร็วกว่าชิปรุ่นก่อนหลายเท่าเมื่อใช้ MLX (Apple)

4วิธีรัน

DwarfStar (ds4): ใช้หน่วยความจำน้อยที่สุด

DwarfStar เป็นเอนจินโอเพนซอร์สที่สร้างมาสำหรับโมเดล DeepSeek Flash รองรับ Metal บน Mac ตั้งแต่ 96 GB และสตรีมจาก SSD สำหรับเครื่องที่เล็กกว่า โดยเก็บตาราง Engram ไว้บนดิสก์ในทุกโหมด (GitHub)

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

ตัด --ssd-streaming ออกเมื่อ Mac มี 256 GB ขึ้นไป ./ds4-server ให้บริการโมเดลผ่าน API ในเครื่อง

llama.cpp: ไฟล์ GGUF ของ 1017

llama.cpp รุ่นหลักและ Ollama ยังไม่รองรับ V4.1 Flash ไฟล์ GGUF ของ 1017 สร้างด้วย llama.cpp สาขาแยก (branch) ที่คุณต้องบิลด์เอง และแนะนำให้เก็บตาราง Engram ไว้ฝั่ง CPU (Hugging Face) ตอนนี้ไฟล์รองรับเฉพาะข้อความ

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: บิลด์ 1017 สำหรับ Apple Silicon

บิลด์ 1017 จากชุมชน MLX คงความแม่นยำ FP4 และ FP8 ดั้งเดิมของ DeepSeek ไว้สำหรับค่าน้ำหนักส่วนใหญ่ และมีค่าน้ำหนักสำหรับการทำนายหลายโทเค็น (multi-token prediction) มาด้วย โหลดผ่าน mlx-vlm ซึ่งรองรับภาพด้วย และมีใน LM Studio เช่นกัน ต้องใช้ Mac 512 GB

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

เพิ่งเริ่มใช้โมเดลในเครื่องใช่ไหม เริ่มจากการรัน LLM บน Mac และ MLX vs Ollama vs llama.cpp

5ไม่มี Mac 512 GB มีทางเลือกอะไรบ้าง

• ใช้ API DeepSeek คิดค่าบริการ $0.15 ต่อล้านโทเค็นอินพุต และ $0.60 ต่อล้านโทเค็นเอาต์พุตสำหรับ deepseek-flash ดู DeepSeek V4.1 Flash 1017
• รันโมเดลแบบเปิดที่เล็กกว่า Mac 64 GB รันโมเดลระดับ 70B ได้ และ Mac 128 GB รัน gpt-oss-120b ได้ดี ดูMac ที่ดีที่สุดสำหรับ LLM ในเครื่อง
• รวม Mac หลายเครื่อง Mac สองเครื่องขึ้นไปที่เชื่อมผ่าน Thunderbolt 5 รองรับโมเดลที่เครื่องเดียวรับไม่ไหวได้ ดูคลัสเตอร์ AI ด้วย Mac
• ให้ Mac ของคุณทำงาน MLX Node รันงาน AI ให้ MLX Network บน Mac ที่ใช้ Apple Silicon ทุกเครื่อง และได้รับโทเค็น MLX สูงสุด 1 MLX ต่อวันเมื่อไม่มีที่นั่งเฉพาะ MLX ที่ขุดได้จะล็อก 30 วัน และสั้นลงเมื่อมีที่นั่งเฉพาะ ดูความเสี่ยง

6คำถาม

DeepSeek V4.1 Flash ต้องใช้แรมเท่าไร

ราว 163 GB สำหรับบิลด์ DwarfStar 2 บิตที่เก็บตาราง Engram ไว้บน SSD ราว 316 GB สำหรับบิลด์ 4 บิต และเท่ากับขนาดดาวน์โหลดทั้งหมด 343 ถึง 432 GB สำหรับบิลด์ MLX แล้วเผื่อพื้นที่ให้ macOS และคอนเท็กซ์

MacBook Pro รัน DeepSeek V4.1 Flash ได้ไหม

ได้เฉพาะรุ่น 128 GB และต้องสตรีมบิลด์ 2 บิตจาก SSD ด้วย DwarfStar ซึ่งยังเป็นแบบทดลองและช้า โมเดลรันในหน่วยความจำทั้งหมดได้บน Mac Studio 256 หรือ 512 GB

DeepSeek V4.1 Flash บน M3 Ultra เร็วแค่ไหน

การรันสาธารณะครั้งแรกบน M3 Ultra 512 GB เขียนได้ราว 6.5 โทเค็นต่อวินาที และอ่านพรอมต์ได้ราว 275 โทเค็นต่อวินาที ด้วยบิลด์ MLX แบนด์วิดท์หน่วยความจำรองรับได้ราว 90 โทเค็นต่อวินาที ซอฟต์แวร์รุ่นใหม่จึงน่าจะเร็วกว่านี้

DeepSeek V4.1 Flash 1017 มีเวอร์ชัน MLX ไหม

มี ชุมชน MLX เผยแพร่บิลด์ 1017 ขนาด 343 GB และ 432 GB รันด้วย mlx-vlm หรือ LM Studio บน Mac ที่มีหน่วยความจำ 512 GB

DeepSeek V4.1 Flash ใช้กับ Ollama ได้ไหม

Ollama และ llama.cpp รุ่นมาตรฐานยังไม่รองรับ ไฟล์ GGUF ต้องใช้ llama.cpp สาขาแยกที่บิลด์จากซอร์สโค้ด หรือจะใช้ DwarfStar ซึ่งรองรับโมเดลนี้บน Mac ก็ได้