Запуск DeepSeek V4.1 Flash на Mac.

1Скільки пам’яті потрібно

У моделі 552 млрд параметрів, але близько 189 ГіБ завантаження — це дві таблиці пошуку Engram, з яких на кожен токен читається по кілька рядків. Середовищам виконання, які лишають ці таблиці на SSD, потрібно набагато менше пам’яті, ніж важить завантаження; збіркам, що завантажують усе, потрібен увесь обсяг (antirez на Hugging Face).

Залиште місце для macOS і контексту: при 890 байтах на токен розмова на 100 000 токенів додає менше ніж 0,1 ГБ, тож усе вирішують ваги.

2На якому Mac вона запуститься

Тримайте модель на внутрішньому SSD Mac: рядки Engram і потокові ваги читаються з диска під час генерації, а зовнішній накопичувач набагато повільніший. Урахуйте й обсяг завантаження: від 250 до 520 ГБ плюс вільне місце на час склеювання файлів.

3З якою швидкістю вона працює

Перший публічний бенчмарк на Mac запускав змішану 4- і 8-бітну MLX-збірку вересневих ваг на Mac Studio з M3 Ultra і 512 ГБ (бенчмарк на GitHub):

Це набагато нижче за можливості заліза. Під час генерації на кожен токен читається близько 16 млрд параметрів — приблизно 9 ГБ у 4 бітах, тож пропускна здатність пам’яті обмежує один чат приблизно 90 токенами за секунду на M3 Ultra (819 ГБ/с) і 130 на M5 Ultra (1,2 ТБ/с). Підтримці нової архітектури лише кілька тижнів, тож нові версії середовищ виконання, найімовірніше, скоротять частину розриву; порівнюйте актуальні цифри на MLX Bench і в примітках до випусків середовищ виконання.

Читання промпту обмежене обчисленнями, а не пам’яттю. Чипи покоління M5 мають нейроприскорювачі в GPU і з MLX читають промпти в кілька разів швидше за попередні чипи (Apple).

4Як її запустити

DwarfStar (ds4): найощадливіший щодо пам’яті

DwarfStar — рушій із відкритим кодом, створений для моделей DeepSeek Flash, з підтримкою Metal для Mac від 96 ГБ і потоковим читанням із SSD для менших Mac. У всіх режимах він тримає таблиці Engram на диску (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Якщо Mac має 256 ГБ або більше, приберіть --ssd-streaming. ./ds4-server віддає модель через локальний API.

llama.cpp: файли GGUF для 1017

Основна гілка llama.cpp та Ollama поки що не підтримують V4.1 Flash. Файли GGUF для 1017 зроблено гілкою llama.cpp, яку треба зібрати самостійно; таблиці Engram рекомендовано тримати на боці CPU (Hugging Face). Поки що ці файли працюють лише з текстом.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: збірки 1017 для Apple Silicon

Збірки 1017 від спільноти MLX зберігають оригінальну точність DeepSeek, FP4 і FP8, для більшості ваг і містять ваги багатотокенного передбачення (multi-token prediction). Вони завантажуються через mlx-vlm, який працює і з зображеннями, і доступні в LM Studio. Їм потрібен Mac із 512 ГБ.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

Уперше запускаєте моделі локально? Почніть із запуску LLM на Mac і MLX vs Ollama vs llama.cpp.

5Немає Mac із 512 ГБ? Варіанти

• Використовуйте API. DeepSeek бере $0,15 за мільйон вхідних токенів і $0,60 за мільйон вихідних за deepseek-flash; див. DeepSeek V4.1 Flash 1017.
• Запустіть меншу відкриту модель. Mac із 64 ГБ тягне моделі класу 70B, а Mac зі 128 ГБ добре справляється з gpt-oss-120b: див. найкращий Mac для локальних LLM.
• Об’єднайте кілька Mac. Два чи більше Mac через Thunderbolt 5 вміщують моделі, які не вміщуються в жоден із них окремо: див. кластери Mac для ШІ.
• Нехай Mac заробляє. MLX Node виконує завдання ШІ для MLX Network на будь-якому Mac з Apple Silicon і заробляє токени MLX — до 1 MLX на день без виділеного місця. Добуті MLX блокуються на 30 дн., із виділеним місцем — менше; див. ризики.

6Запитання

Скільки оперативної пам’яті потрібно для DeepSeek V4.1 Flash?

Близько 163 ГБ для 2-бітної збірки DwarfStar із таблицями Engram на SSD, близько 316 ГБ для її 4-бітної збірки й увесь обсяг завантаження, від 343 до 432 ГБ, для MLX-збірок. Додайте запас для macOS і контексту.

Чи запуститься DeepSeek V4.1 Flash на MacBook Pro?

Лише на моделі зі 128 ГБ і лише з потоковим читанням 2-бітної збірки з SSD через DwarfStar — це експериментально й повільно. Повністю в пам’яті вона працює на Mac Studio з 256 або 512 ГБ.

Наскільки швидко DeepSeek V4.1 Flash працює на M3 Ultra?

Перший публічний запуск на M3 Ultra з 512 ГБ із MLX-збіркою генерував близько 6,5 токена за секунду й читав промпт зі швидкістю близько 275 токенів за секунду. Пропускна здатність пам’яті дозволила б приблизно 90 токенів за секунду, тож нові версії ПЗ мають працювати швидше.

Чи є MLX-версія DeepSeek V4.1 Flash 1017?

Так. Спільнота MLX опублікувала збірки 1017 на 343 ГБ і 432 ГБ. Вони працюють через mlx-vlm або LM Studio на Mac із 512 ГБ пам’яті.

Чи працює DeepSeek V4.1 Flash в Ollama?

У стандартних Ollama та llama.cpp поки що ні. Файлам GGUF потрібна гілка llama.cpp, зібрана з вихідного коду; інший варіант — DwarfStar, який підтримує цю модель на Mac.