Εκτέλεση του DeepSeek V4.1 Flash σε Mac.

1Πόση μνήμη χρειάζεται

Το μοντέλο έχει 552 δισεκατομμύρια παραμέτρους, αλλά περίπου 189 GiB της λήψης είναι δύο πίνακες αναζήτησης Engram, από τους οποίους διαβάζονται λίγες γραμμές ανά token. Τα runtimes που αφήνουν αυτούς τους πίνακες στον SSD χρειάζονται πολύ λιγότερη μνήμη από το μέγεθος της λήψης· οι εκδόσεις που φορτώνουν τα πάντα τη χρειάζονται ολόκληρη (antirez στο Hugging Face).

Αφήστε χώρο για το macOS και για τα συμφραζόμενα: με περίπου 890 bytes ανά token, μια συνομιλία 100.000 tokens προσθέτει λιγότερο από 0,1 GB, οπότε αυτό που κρίνει είναι τα βάρη.

2Ποιος Mac μπορεί να το τρέξει

Κρατήστε το μοντέλο στον εσωτερικό SSD του Mac: οι γραμμές Engram και τα βάρη με streaming διαβάζονται από τον δίσκο κατά την παραγωγή, και ένας εξωτερικός δίσκος είναι πολύ πιο αργός. Υπολογίστε και τη λήψη: 250 έως 520 GB, συν ελεύθερο χώρο όσο ενώνονται τα αρχεία.

3Πόσο γρήγορα τρέχει

Το πρώτο δημόσιο benchmark σε Mac έτρεξε μια μικτή έκδοση MLX 4 και 8 bit των βαρών του Σεπτεμβρίου σε Mac Studio M3 Ultra με 512 GB (benchmark στο GitHub):

Αυτό είναι πολύ κάτω από όσα επιτρέπει το υλικό. Η γραφή διαβάζει περίπου 16 δισεκατομμύρια παραμέτρους ανά token, περίπου 9 GB στα 4 bit, οπότε το εύρος ζώνης μνήμης περιορίζει μία συνομιλία σε περίπου 90 tokens ανά δευτερόλεπτο σε M3 Ultra (819 GB/s) και 130 σε M5 Ultra (1,2 TB/s). Η υποστήριξη της νέας αρχιτεκτονικής είναι λίγων εβδομάδων, οπότε περιμένετε τα νεότερα runtimes να κλείσουν μέρος της διαφοράς· συγκρίνετε τα τρέχοντα νούμερα στο MLX Bench και στις σημειώσεις έκδοσης των runtimes.

Η ανάγνωση των prompts περιορίζεται από την υπολογιστική ισχύ και όχι από τη μνήμη. Τα chip της γενιάς M5 έχουν νευρωνικούς επιταχυντές στη GPU και διαβάζουν prompts αρκετές φορές πιο γρήγορα από τα παλαιότερα chip με MLX (Apple).

4Πώς να το τρέξετε

DwarfStar (ds4): το πιο λιτό σε μνήμη

Το DwarfStar είναι μια μηχανή ανοιχτού κώδικα φτιαγμένη για τα μοντέλα DeepSeek Flash, με υποστήριξη Metal για Mac από 96 GB και streaming από τον SSD για μικρότερους. Κρατά τους πίνακες Engram στον δίσκο σε κάθε λειτουργία (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Παραλείψτε το --ssd-streaming όταν ο Mac έχει 256 GB ή περισσότερα. Το ./ds4-server σερβίρει το μοντέλο μέσω τοπικού API.

llama.cpp: τα αρχεία GGUF του 1017

Το κύριο llama.cpp και το Ollama δεν υποστηρίζουν ακόμη το V4.1 Flash. Τα αρχεία GGUF του 1017 φτιάχτηκαν με ένα branch του llama.cpp, που το κάνετε build μόνοι σας· προτείνεται να μείνουν οι πίνακες Engram στη μεριά της CPU (Hugging Face). Τα αρχεία είναι προς το παρόν μόνο για κείμενο.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: οι εκδόσεις του 1017 για Apple silicon

Οι εκδόσεις MLX της κοινότητας για το 1017 κρατούν την αρχική ακρίβεια FP4 και FP8 της DeepSeek για τα περισσότερα βάρη και περιλαμβάνουν τα βάρη πρόβλεψης πολλών tokens (multi-token prediction). Φορτώνουν μέσω του mlx-vlm, που χειρίζεται και εικόνες, και εμφανίζονται και στο LM Studio. Χρειάζονται Mac με 512 GB.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

Πρώτη φορά με τοπικά μοντέλα; Ξεκινήστε με την εκτέλεση ενός LLM σε Mac και το MLX vs Ollama vs llama.cpp.

5Δεν έχετε Mac με 512 GB; Οι επιλογές σας

• Χρησιμοποιήστε το API. Η DeepSeek χρεώνει 0,15 $ ανά εκατομμύριο tokens εισόδου και 0,60 $ ανά εκατομμύριο tokens εξόδου για το deepseek-flash· δείτε το DeepSeek V4.1 Flash 1017.
• Τρέξτε ένα μικρότερο ανοιχτό μοντέλο. Ένας Mac με 64 GB τρέχει μοντέλα της κατηγορίας 70B και ένας Mac με 128 GB τρέχει καλά το gpt-oss-120b: δείτε τον καλύτερο Mac για τοπικά LLM.
• Ενώστε Mac μεταξύ τους. Δύο ή περισσότεροι Mac μέσω Thunderbolt 5 χωρούν μοντέλα που δεν χωρά κανένας μόνος του: δείτε τα clusters AI με Mac.
• Αφήστε τον Mac σας να κερδίζει. Το MLX Node εκτελεί εργασίες AI για το MLX Network σε κάθε Mac με Apple silicon και κερδίζει tokens MLX, έως 1 MLX την ημέρα χωρίς αποκλειστική θέση. Το MLX από εξόρυξη μένει κλειδωμένο για 30 ημέρες, λιγότερο με αποκλειστική θέση· δείτε τους κινδύνους.

6Ερωτήσεις

Πόση RAM χρειάζομαι για το DeepSeek V4.1 Flash;

Περίπου 163 GB για την έκδοση 2-bit του DwarfStar με τους πίνακες Engram στον SSD, περίπου 316 GB για την έκδοση 4-bit του, και ολόκληρη τη λήψη, 343 έως 432 GB, για τις εκδόσεις MLX. Προσθέστε χώρο για το macOS και τα συμφραζόμενα.

Μπορεί ένα MacBook Pro να τρέξει το DeepSeek V4.1 Flash;

Μόνο ένα με 128 GB, και μόνο με streaming της έκδοσης 2-bit από τον SSD με το DwarfStar, κάτι πειραματικό και αργό. Τρέχει ολόκληρο στη μνήμη σε Mac Studio με 256 ή 512 GB.

Πόσο γρήγορο είναι το DeepSeek V4.1 Flash σε M3 Ultra;

Η πρώτη δημόσια εκτέλεση σε M3 Ultra με 512 GB έγραφε περίπου 6,5 tokens ανά δευτερόλεπτο και διάβαζε prompts με περίπου 275 tokens ανά δευτερόλεπτο, με έκδοση MLX. Το εύρος ζώνης μνήμης θα επέτρεπε περίπου 90 tokens ανά δευτερόλεπτο, οπότε το νεότερο λογισμικό αναμένεται πιο γρήγορο.

Υπάρχει έκδοση MLX του DeepSeek V4.1 Flash 1017;

Ναι. Η κοινότητα MLX δημοσίευσε εκδόσεις του 1017 των 343 GB και 432 GB. Τρέχουν με mlx-vlm ή LM Studio σε Mac με 512 GB μνήμης.

Λειτουργεί το DeepSeek V4.1 Flash στο Ollama;

Όχι ακόμη στο κανονικό Ollama ή llama.cpp. Τα αρχεία GGUF χρειάζονται ένα branch του llama.cpp που γίνεται build από τον κώδικα, ή μπορείτε να χρησιμοποιήσετε το DwarfStar, που υποστηρίζει το μοντέλο σε Mac.