Запуск DeepSeek V4.1 Flash на Mac.

1Сколько памяти нужно

У модели 552 млрд параметров, но около 189 ГиБ загрузки — это две таблицы поиска Engram, из которых на каждый токен читается по несколько строк. Средам выполнения, которые оставляют эти таблицы на SSD, нужно гораздо меньше памяти, чем весит загрузка; сборкам, которые загружают все, нужен весь объем (antirez на Hugging Face).

Оставьте место для macOS и контекста: при 890 байтах на токен разговор на 100 000 токенов добавляет меньше 0,1 ГБ, так что все решают веса.

2На каком Mac она запустится

Держите модель на внутреннем SSD Mac: строки Engram и потоковые веса читаются с диска во время генерации, а внешний накопитель гораздо медленнее. Учтите и объем загрузки: от 250 до 520 ГБ плюс свободное место на время склейки файлов.

3С какой скоростью она работает

Первый публичный бенчмарк на Mac запускал смешанную 4- и 8-битную MLX-сборку сентябрьских весов на Mac Studio с M3 Ultra и 512 ГБ (бенчмарк на GitHub):

Это намного ниже возможностей железа. При генерации на каждый токен читается около 16 млрд параметров — около 9 ГБ в 4 битах, поэтому пропускная способность памяти ограничивает один чат примерно 90 токенами в секунду на M3 Ultra (819 ГБ/с) и 130 на M5 Ultra (1,2 ТБ/с). Поддержке новой архитектуры всего несколько недель, так что новые версии сред выполнения, скорее всего, сократят часть разрыва; сравнивайте актуальные цифры на MLX Bench и в заметках к выпускам сред выполнения.

Чтение промпта ограничено вычислениями, а не памятью. В чипах поколения M5 есть нейроускорители в GPU, и с MLX они читают промпты в несколько раз быстрее прежних чипов (Apple).

4Как ее запустить

DwarfStar (ds4): самый экономный по памяти

DwarfStar — движок с открытым кодом, созданный для моделей DeepSeek Flash, с поддержкой Metal для Mac от 96 ГБ и потоковым чтением с SSD для Mac поменьше. Во всех режимах он держит таблицы Engram на диске (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Если у Mac 256 ГБ или больше, уберите --ssd-streaming. ./ds4-server отдает модель через локальный API.

llama.cpp: файлы GGUF для 1017

Основная ветка llama.cpp и Ollama пока не поддерживают V4.1 Flash. Файлы GGUF для 1017 сделаны веткой llama.cpp, которую нужно собрать самостоятельно; таблицы Engram рекомендуется держать на стороне CPU (Hugging Face). Пока эти файлы работают только с текстом.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: сборки 1017 для Apple Silicon

Сборки 1017 от сообщества MLX сохраняют исходную точность DeepSeek, FP4 и FP8, для большинства весов и включают веса многотокенного предсказания (multi-token prediction). Они загружаются через mlx-vlm, который умеет работать и с изображениями, и доступны в LM Studio. Им нужен Mac с 512 ГБ.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

Впервые запускаете модели локально? Начните с запуска LLM на Mac и MLX vs Ollama vs llama.cpp.

5Нет Mac с 512 ГБ? Варианты

• Используйте API. DeepSeek берет $0,15 за миллион входных токенов и $0,60 за миллион выходных за deepseek-flash; см. DeepSeek V4.1 Flash 1017.
• Запустите открытую модель поменьше. Mac с 64 ГБ тянет модели класса 70B, а Mac со 128 ГБ хорошо справляется с gpt-oss-120b: см. лучший Mac для локальных LLM.
• Объедините несколько Mac. Два или больше Mac через Thunderbolt 5 вмещают модели, которые не помещаются ни в один из них по отдельности: см. кластеры Mac для ИИ.
• Пусть Mac зарабатывает. MLX Node выполняет задачи ИИ для MLX Network на любом Mac с Apple Silicon и зарабатывает токены MLX — до 1 MLX в день без выделенного места. Добытые MLX блокируются на 30 дн., с выделенным местом — меньше; см. риски.

6Вопросы

Сколько оперативной памяти нужно для DeepSeek V4.1 Flash?

Около 163 ГБ для 2-битной сборки DwarfStar с таблицами Engram на SSD, около 316 ГБ для ее 4-битной сборки и весь объем загрузки, от 343 до 432 ГБ, для MLX-сборок. Добавьте запас для macOS и контекста.

Запустится ли DeepSeek V4.1 Flash на MacBook Pro?

Только на модели со 128 ГБ и только с потоковым чтением 2-битной сборки с SSD через DwarfStar — это экспериментально и медленно. Целиком в памяти она работает на Mac Studio с 256 или 512 ГБ.

Насколько быстро DeepSeek V4.1 Flash работает на M3 Ultra?

Первый публичный запуск на M3 Ultra с 512 ГБ с MLX-сборкой генерировал около 6,5 токена в секунду и читал промпт со скоростью около 275 токенов в секунду. Пропускная способность памяти позволила бы примерно 90 токенов в секунду, так что новые версии ПО должны работать быстрее.

Есть ли MLX-версия DeepSeek V4.1 Flash 1017?

Да. Сообщество MLX опубликовало сборки 1017 на 343 ГБ и 432 ГБ. Они работают через mlx-vlm или LM Studio на Mac с 512 ГБ памяти.

Работает ли DeepSeek V4.1 Flash в Ollama?

В стандартных Ollama и llama.cpp пока нет. Файлам GGUF нужна ветка llama.cpp, собранная из исходников; другой вариант — DwarfStar, который поддерживает эту модель на Mac.