Menjalankan DeepSeek V4.1 Flash di Mac.

1Berapa memori yang dibutuhkan

Model ini punya 552 miliar parameter, tetapi sekitar 189 GiB dari unduhannya adalah dua tabel lookup Engram yang dibaca beberapa baris per token. Runtime yang membiarkan tabel itu di SSD butuh memori jauh lebih kecil daripada ukuran unduhan; build yang memuat semuanya butuh seluruhnya (antirez di Hugging Face).

Sisakan ruang untuk macOS dan konteks: dengan sekitar 890 byte per token, percakapan 100.000 token menambah kurang dari 0,1 GB, jadi bobotlah yang menentukan.

2Mac mana yang bisa menjalankannya

Simpan model di SSD internal Mac: baris Engram dan bobot yang di-streaming dibaca dari disk selama pembuatan teks, dan drive eksternal jauh lebih lambat. Perhitungkan juga unduhannya: 250 hingga 520 GB, ditambah ruang kosong saat file digabungkan.

3Seberapa cepat model ini berjalan

Benchmark publik pertama di Mac menjalankan build MLX campuran 4 dan 8 bit dari bobot September di Mac Studio M3 Ultra dengan 512 GB (benchmark di GitHub):

Itu jauh di bawah kemampuan perangkat kerasnya. Saat menulis, model membaca sekitar 16 miliar parameter per token, sekitar 9 GB pada 4 bit, sehingga bandwidth memori membatasi satu percakapan pada kira-kira 90 token per detik di M3 Ultra (819 GB/s) dan 130 di M5 Ultra (1,2 TB/s). Dukungan untuk arsitektur baru ini baru berumur beberapa minggu, jadi runtime yang lebih baru kemungkinan akan menutup sebagian selisihnya; bandingkan angka terkini di MLX Bench dan di catatan rilis setiap runtime.

Membaca prompt dibatasi oleh daya komputasi, bukan memori. Chip generasi M5 punya akselerator neural di GPU dan membaca prompt beberapa kali lebih cepat daripada chip sebelumnya dengan MLX (Apple).

4Cara menjalankannya

DwarfStar (ds4): paling hemat memori

DwarfStar adalah mesin open-source yang dibuat untuk model DeepSeek Flash, dengan dukungan Metal untuk Mac mulai 96 GB dan streaming dari SSD untuk yang lebih kecil. Mesin ini menyimpan tabel Engram di disk dalam semua mode (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Hilangkan --ssd-streaming jika Mac punya 256 GB atau lebih. ./ds4-server menyajikan model lewat API lokal.

llama.cpp: file GGUF 1017

llama.cpp versi utama dan Ollama belum mendukung V4.1 Flash. File GGUF 1017 dibuat dengan sebuah cabang llama.cpp yang harus Anda build sendiri; menyimpan tabel Engram di sisi CPU disarankan (Hugging Face). Untuk saat ini file-nya hanya mendukung teks.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: build 1017 untuk Apple Silicon

Build komunitas MLX untuk 1017 mempertahankan presisi asli FP4 dan FP8 dari DeepSeek untuk sebagian besar bobot dan menyertakan bobot multi-token prediction. Build ini dimuat lewat mlx-vlm, yang juga menangani gambar, dan juga tersedia di LM Studio. Build ini butuh Mac 512 GB.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

Baru mengenal model lokal? Mulailah dengan menjalankan LLM di Mac dan MLX vs Ollama vs llama.cpp.

5Tidak punya Mac 512 GB? Ini pilihan Anda

• Gunakan API. DeepSeek mengenakan $0,15 per juta token input dan $0,60 per juta token output untuk deepseek-flash; lihat DeepSeek V4.1 Flash 1017.
• Jalankan model terbuka yang lebih kecil. Mac 64 GB menjalankan model kelas 70B dan Mac 128 GB menjalankan gpt-oss-120b dengan baik: lihat Mac terbaik untuk LLM lokal.
• Gabungkan beberapa Mac. Dua Mac atau lebih lewat Thunderbolt 5 bisa menampung model yang tidak muat di satu Mac: lihat cluster AI Mac.
• Biarkan Mac Anda bekerja. MLX Node menjalankan pekerjaan AI untuk MLX Network di Mac Apple Silicon mana pun dan memperoleh token MLX, hingga 1 MLX per hari tanpa kursi khusus. MLX hasil penambangan terkunci selama 30 hari, lebih singkat dengan kursi khusus; lihat risikonya.

6Pertanyaan

Berapa RAM yang dibutuhkan DeepSeek V4.1 Flash?

Sekitar 163 GB untuk build DwarfStar 2-bit dengan tabel Engram dibiarkan di SSD, sekitar 316 GB untuk build 4-bit-nya, dan seluruh ukuran unduhan, 343 hingga 432 GB, untuk build MLX. Tambahkan ruang untuk macOS dan konteks.

Bisakah MacBook Pro menjalankan DeepSeek V4.1 Flash?

Hanya yang 128 GB, dan hanya dengan streaming build 2-bit dari SSD menggunakan DwarfStar, yang masih eksperimental dan lambat. Model ini berjalan sepenuhnya di memori pada Mac Studio dengan 256 atau 512 GB.

Seberapa cepat DeepSeek V4.1 Flash di M3 Ultra?

Uji coba publik pertama di M3 Ultra 512 GB menulis sekitar 6,5 token per detik dan membaca prompt sekitar 275 token per detik, dengan build MLX. Bandwidth memorinya memungkinkan sekitar 90 token per detik, jadi perangkat lunak yang lebih baru seharusnya lebih cepat.

Apakah ada versi MLX dari DeepSeek V4.1 Flash 1017?

Ada. Komunitas MLX menerbitkan build 1017 berukuran 343 GB dan 432 GB. Build ini berjalan dengan mlx-vlm atau LM Studio di Mac dengan memori 512 GB.

Apakah DeepSeek V4.1 Flash bisa dipakai di Ollama?

Belum di Ollama atau llama.cpp standar. File GGUF-nya butuh cabang llama.cpp yang di-build dari source, atau Anda bisa memakai DwarfStar, yang mendukung model ini di Mac.