DeepSeek V4.1 Flash'ı Mac'te çalıştırın.

1Ne kadar bellek gerekiyor

Modelin 552 milyar parametresi var, ancak indirmenin yaklaşık 189 GiB'ı, token başına yalnızca birkaç satırı okunan iki Engram arama tablosundan oluşuyor. Bu tabloları SSD'de bırakan çalışma ortamları indirme boyutundan çok daha az bellek ister; her şeyi yükleyen sürümler ise tamamını ister (Hugging Face'te antirez).

macOS ve bağlam için yer bırakın: token başına yaklaşık 890 baytla 100.000 token'lık bir sohbet 0,1 GB'tan az ekler, yani belirleyici olan ağırlıklardır.

2Hangi Mac çalıştırabilir

Modeli Mac'in dahili SSD'sinde tutun: Engram satırları ve akışla gelen ağırlıklar üretim sırasında diskten okunur ve harici bir sürücü çok daha yavaştır. İndirmeyi de planlayın: 250 ila 520 GB, artı dosyalar birleştirilirken gereken boş alan.

3Ne kadar hızlı çalışıyor

Mac'teki ilk herkese açık benchmark, Eylül ağırlıklarının karma 4 ve 8 bit MLX sürümünü 512 GB'lık M3 Ultra bir Mac Studio'da çalıştırdı (GitHub'daki benchmark):

Bu, donanımın izin verdiğinin çok altında. Yazarken token başına yaklaşık 16 milyar parametre, yani 4 bitte yaklaşık 9 GB okunur; bu nedenle bellek bant genişliği tek bir sohbeti M3 Ultra'da (819 GB/s) kabaca saniyede 90 token, M5 Ultra'da (1,2 TB/s) 130 token ile sınırlar. Yeni mimari desteği henüz birkaç haftalık, bu yüzden yeni çalışma ortamlarının bu farkın bir kısmını kapatması beklenir; güncel rakamları MLX Bench üzerinde ve çalışma ortamlarının sürüm notlarında karşılaştırın.

İstem okumayı bellek değil işlem gücü sınırlar. M5 nesli çiplerin GPU'sunda nöral hızlandırıcılar var ve MLX ile istemleri önceki çiplerden birkaç kat daha hızlı okuyorlar (Apple).

4Nasıl çalıştırılır

DwarfStar (ds4): bellek açısından en hafifi

DwarfStar, DeepSeek Flash modelleri için yapılmış açık kaynaklı bir motor; 96 GB ve üzeri Mac'ler için Metal desteği, daha küçükleri için SSD akışı sunuyor. Engram tablolarını her modda diskte tutuyor (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Mac'te 256 GB veya daha fazla bellek varsa --ssd-streaming seçeneğini kaldırın. ./ds4-server modeli yerel bir API üzerinden sunar.

llama.cpp: 1017 GGUF dosyaları

Ana llama.cpp ve Ollama henüz V4.1 Flash'ı desteklemiyor. 1017 GGUF dosyaları, kendiniz derlediğiniz bir llama.cpp dalıyla hazırlandı; Engram tablolarını CPU tarafında tutmanız öneriliyor (Hugging Face). Dosyalar şimdilik yalnızca metin destekliyor.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: Apple Silicon için 1017 sürümleri

MLX topluluğunun 1017 sürümleri, ağırlıkların çoğunda DeepSeek'in özgün FP4 ve FP8 hassasiyetini koruyor ve çoklu token tahmini (multi-token prediction) ağırlıklarını içeriyor. Görüntüleri de işleyen mlx-vlm ile yükleniyorlar; LM Studio da bunları listeliyor. 512 GB'lık bir Mac gerektiriyorlar.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

Yerel modellerde yeni misiniz? Mac'inizde LLM çalıştırma ve MLX, Ollama ve llama.cpp karşılaştırması ile başlayın.

5512 GB'lık Mac'iniz yok mu? Seçenekleriniz

• API'yi kullanın. DeepSeek, deepseek-flash için milyon girdi token'ı başına $0,15, milyon çıktı token'ı başına $0,60 alıyor; DeepSeek V4.1 Flash 1017 rehberine bakın.
• Daha küçük bir açık model çalıştırın. 64 GB'lık bir Mac 70B sınıfı modelleri, 128 GB'lık bir Mac gpt-oss-120b'yi rahatça çalıştırır: Yerel LLM için en iyi Mac rehberine bakın.
• Mac'leri birleştirin. Thunderbolt 5 ile bağlanan iki veya daha fazla Mac, hiçbirinin tek başına tutamayacağı modelleri tutabilir: Mac yapay zekâ kümeleri rehberine bakın.
• Mac'iniz kazansın. MLX Node, Apple Silicon'lı her Mac'te MLX Network için yapay zekâ işleri çalıştırır ve MLX token kazanır; özel koltuk olmadan günde 1 MLX'e kadar. Kazılan MLX 30 gün kilitli kalır, özel koltukla daha kısa; riskleri okuyun.

6Sorular

DeepSeek V4.1 Flash için ne kadar RAM gerekir?

Engram tabloları SSD'de kalan 2 bit DwarfStar sürümü için yaklaşık 163 GB, onun 4 bit sürümü için yaklaşık 316 GB, MLX sürümleri için ise indirmenin tamamı, yani 343 ila 432 GB. Buna macOS ve bağlam için pay ekleyin.

MacBook Pro DeepSeek V4.1 Flash'ı çalıştırabilir mi?

Yalnızca 128 GB'lık olanı ve yalnızca 2 bit sürümü DwarfStar ile SSD'den akışla; bu deneysel ve yavaştır. Tamamen bellekte 256 veya 512 GB'lık bir Mac Studio'da çalışır.

DeepSeek V4.1 Flash M3 Ultra'da ne kadar hızlı?

512 GB'lık bir M3 Ultra'da bir MLX sürümüyle yapılan ilk herkese açık çalıştırma saniyede yaklaşık 6,5 token yazdı ve istemleri saniyede yaklaşık 275 token hızla okudu. Bellek bant genişliği saniyede yaklaşık 90 token'a izin verirdi, bu yüzden daha yeni yazılımlar daha hızlı olmalı.

DeepSeek V4.1 Flash 1017'nin MLX sürümü var mı?

Evet. MLX topluluğu 343 GB ve 432 GB'lık 1017 sürümleri yayımladı. 512 GB belleğe sahip bir Mac'te mlx-vlm veya LM Studio ile çalışırlar.

DeepSeek V4.1 Flash Ollama'da çalışıyor mu?

Standart Ollama'da veya llama.cpp'de henüz çalışmıyor. GGUF dosyaları kaynaktan derlenmiş bir llama.cpp dalı gerektiriyor; ya da modeli Mac'lerde destekleyen DwarfStar'ı kullanabilirsiniz.