Jalankan DeepSeek V4.1 Flash pada Mac.

1Berapa banyak memori yang diperlukan

Model ini mempunyai 552 bilion parameter, tetapi kira-kira 189 GiB daripada muat turunnya ialah dua jadual carian Engram yang dibaca beberapa baris setiap token. Runtime yang membiarkan jadual itu pada SSD memerlukan memori jauh lebih kecil daripada saiz muat turun; binaan yang memuatkan semuanya memerlukan kesemuanya (antirez di Hugging Face).

Tinggalkan ruang untuk macOS dan konteks: pada kira-kira 890 bait setiap token, perbualan 100,000 token menambah kurang daripada 0.1 GB, jadi pemberatlah yang menentukan.

2Mac mana yang boleh menjalankannya

Simpan model pada SSD dalaman Mac: baris Engram dan pemberat yang distrim dibaca dari cakera semasa penjanaan, dan pemacu luaran jauh lebih perlahan. Rancang untuk muat turun juga: 250 hingga 520 GB, ditambah ruang kosong semasa fail digabungkan.

3Sepantas mana ia berjalan

Penanda aras awam pertama pada Mac menjalankan binaan MLX campuran 4 dan 8 bit bagi pemberat September pada Mac Studio M3 Ultra dengan 512 GB (penanda aras di GitHub):

Itu jauh di bawah keupayaan perkakasan. Semasa menulis, model membaca kira-kira 16 bilion parameter setiap token, kira-kira 9 GB pada 4 bit, jadi lebar jalur memori mengehadkan satu sembang pada kira-kira 90 token sesaat pada M3 Ultra (819 GB/s) dan 130 pada M5 Ultra (1.2 TB/s). Sokongan untuk seni bina baharu ini baru berusia beberapa minggu, jadi jangkakan runtime yang lebih baharu merapatkan sebahagian jurang itu; bandingkan angka terkini di MLX Bench dan dalam nota keluaran runtime.

Membaca prompt dihadkan oleh pengkomputeran, bukan memori. Cip generasi M5 mempunyai pemecut neural dalam GPU dan membaca prompt beberapa kali lebih pantas daripada cip terdahulu dengan MLX (Apple).

4Cara menjalankannya

DwarfStar (ds4): paling jimat memori

DwarfStar ialah enjin sumber terbuka yang dibina untuk model DeepSeek Flash, dengan sokongan Metal untuk Mac dari 96 GB dan penstriman SSD untuk yang lebih kecil. Ia menyimpan jadual Engram pada cakera dalam setiap mod (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Tinggalkan --ssd-streaming apabila Mac mempunyai 256 GB atau lebih. ./ds4-server menyajikan model melalui API tempatan.

llama.cpp: fail GGUF 1017

llama.cpp arus perdana dan Ollama belum menyokong V4.1 Flash. Fail GGUF 1017 dibuat dengan cabang llama.cpp yang anda bina sendiri; menyimpan jadual Engram di bahagian CPU adalah disyorkan (Hugging Face). Buat masa ini fail tersebut untuk teks sahaja.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: binaan 1017 untuk Apple Silicon

Binaan komuniti MLX bagi 1017 mengekalkan ketepatan asal FP4 dan FP8 DeepSeek untuk kebanyakan pemberat dan menyertakan pemberat ramalan berbilang token (multi-token prediction). Ia dimuatkan melalui mlx-vlm, yang juga mengendalikan imej, dan LM Studio turut menyenaraikannya. Ia memerlukan Mac 512 GB.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

Baru dengan model tempatan? Mulakan dengan menjalankan LLM pada Mac dan MLX vs Ollama vs llama.cpp.

5Tiada Mac 512 GB? Ini pilihan anda

• Gunakan API. DeepSeek mengenakan $0.15 setiap juta token input dan $0.60 setiap juta token output untuk deepseek-flash; lihat DeepSeek V4.1 Flash 1017.
• Jalankan model terbuka yang lebih kecil. Mac 64 GB menjalankan model kelas 70B dan Mac 128 GB menjalankan gpt-oss-120b dengan baik: lihat Mac terbaik untuk LLM tempatan.
• Gabungkan beberapa Mac. Dua atau lebih Mac melalui Thunderbolt 5 boleh memuatkan model yang tidak muat pada satu Mac: lihat kluster AI Mac.
• Biarkan Mac anda bekerja. MLX Node menjalankan kerja AI untuk MLX Network pada mana-mana Mac Apple Silicon dan memperoleh token MLX, sehingga 1 MLX sehari tanpa kerusi khas. MLX yang dilombong dikunci selama 30 hari, lebih singkat dengan kerusi khas; lihat risiko.

6Soalan

Berapa banyak RAM yang saya perlukan untuk DeepSeek V4.1 Flash?

Kira-kira 163 GB untuk binaan DwarfStar 2-bit dengan jadual Engram dibiarkan pada SSD, kira-kira 316 GB untuk binaan 4-bitnya, dan keseluruhan saiz muat turun, 343 hingga 432 GB, untuk binaan MLX. Tambah ruang untuk macOS dan konteks.

Bolehkah MacBook Pro menjalankan DeepSeek V4.1 Flash?

Hanya yang 128 GB, dan hanya dengan menstrim binaan 2-bit dari SSD menggunakan DwarfStar, yang masih eksperimental dan perlahan. Ia berjalan sepenuhnya dalam memori pada Mac Studio dengan 256 atau 512 GB.

Sepantas mana DeepSeek V4.1 Flash pada M3 Ultra?

Larian awam pertama pada M3 Ultra 512 GB menulis kira-kira 6.5 token sesaat dan membaca prompt pada kira-kira 275 token sesaat, dengan binaan MLX. Lebar jalur memori membenarkan kira-kira 90 token sesaat, jadi perisian yang lebih baharu sepatutnya lebih pantas.

Adakah terdapat versi MLX bagi DeepSeek V4.1 Flash 1017?

Ya. Komuniti MLX menerbitkan binaan 1017 bersaiz 343 GB dan 432 GB. Ia berjalan dengan mlx-vlm atau LM Studio pada Mac dengan memori 512 GB.

Adakah DeepSeek V4.1 Flash berfungsi dalam Ollama?

Belum dalam Ollama atau llama.cpp standard. Fail GGUF memerlukan cabang llama.cpp yang dibina daripada kod sumber, atau anda boleh menggunakan DwarfStar, yang menyokong model ini pada Mac.