Macలో DeepSeek V4.1 Flash నడపండి.

1ఎంత మెమరీ కావాలి

మోడల్‌లో 552 బిలియన్ పారామీటర్‌లు ఉన్నాయి, కానీ డౌన్‌లోడ్‌లో సుమారు 189 GiB ఒక్కో టోకెన్‌కు కొన్ని వరుసలు మాత్రమే చదివే రెండు Engram లుకప్ పట్టికలు. ఆ పట్టికలను SSDపై వదిలే రన్‌టైమ్‌లకు డౌన్‌లోడ్ సైజు కంటే చాలా తక్కువ మెమరీ చాలు; అన్నింటినీ లోడ్ చేసే బిల్డ్‌లకు మొత్తం కావాలి (Hugging Faceలో antirez).

macOSకు, కాంటెక్స్ట్‌కు చోటు వదలండి: ఒక్కో టోకెన్‌కు సుమారు 890 బైట్‌లు కాబట్టి, 100,000 టోకెన్‌ల సంభాషణ 0.1 GB కంటే తక్కువే జోడిస్తుంది; కాబట్టి నిర్ణయించేవి వెయిట్‌లే.

2ఏ Mac దీన్ని నడపగలదు

మోడల్‌ను Mac అంతర్గత SSDపై ఉంచండి: జనరేషన్ సమయంలో Engram వరుసలు, స్ట్రీమ్ అయ్యే వెయిట్‌లు డిస్క్ నుండి చదవబడతాయి, బాహ్య డ్రైవ్ చాలా నెమ్మది. డౌన్‌లోడ్‌కూ ప్లాన్ చేయండి: 250 నుండి 520 GB, దానికి తోడు ఫైల్‌లను కలిపేటప్పుడు ఖాళీ స్థలం.

3ఎంత వేగంగా నడుస్తుంది

Macపై మొదటి పబ్లిక్ బెంచ్‌మార్క్, సెప్టెంబర్ వెయిట్‌ల మిశ్రమ 4-, 8-బిట్ MLX బిల్డ్‌ను 512 GB ఉన్న M3 Ultra Mac Studioపై నడిపింది (GitHubలో బెంచ్‌మార్క్):

ఇది హార్డ్‌వేర్ అనుమతించే దానికంటే చాలా తక్కువ. రాసేటప్పుడు ఒక్కో టోకెన్‌కు సుమారు 16 బిలియన్ పారామీటర్‌లు, అంటే 4 బిట్‌లలో సుమారు 9 GB, చదవబడతాయి; కాబట్టి మెమరీ బ్యాండ్‌విడ్త్ ఒక్క చాట్‌ను M3 Ultraపై (819 GB/s) సెకనుకు దాదాపు 90 టోకెన్‌లకు, M5 Ultraపై (1.2 TB/s) 130కి పరిమితం చేస్తుంది. కొత్త ఆర్కిటెక్చర్‌కు సపోర్ట్ వచ్చి కొన్ని వారాలే అయింది, కాబట్టి కొత్త రన్‌టైమ్‌లు ఈ అంతరంలో కొంత తగ్గిస్తాయని ఆశించవచ్చు; ప్రస్తుత సంఖ్యలను MLX Benchలో, రన్‌టైమ్‌ల విడుదల నోట్స్‌లో పోల్చండి.

ప్రాంప్ట్‌లను చదవడాన్ని పరిమితం చేసేది మెమరీ కాదు, కంప్యూట్. M5 తరం చిప్‌ల GPUలో న్యూరల్ యాక్సిలరేటర్‌లు ఉన్నాయి, MLXతో అవి ముందటి చిప్‌ల కంటే ప్రాంప్ట్‌లను చాలా రెట్లు వేగంగా చదువుతాయి (Apple).

4దీన్ని ఎలా నడపాలి

DwarfStar (ds4): మెమరీపై అతి తేలిక

DwarfStar అనేది DeepSeek Flash మోడల్‌ల కోసం నిర్మించిన ఓపెన్-సోర్స్ ఇంజిన్; 96 GB నుండి ఉన్న Macలకు Metal సపోర్ట్, చిన్నవాటికి SSD స్ట్రీమింగ్ ఉన్నాయి. ప్రతి మోడ్‌లోనూ ఇది Engram పట్టికలను డిస్క్‌పైనే ఉంచుతుంది (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Macలో 256 GB లేదా అంతకంటే ఎక్కువ ఉంటే --ssd-streaming తీసివేయండి. ./ds4-server మోడల్‌ను లోకల్ API ద్వారా అందిస్తుంది.

llama.cpp: 1017 GGUF ఫైల్‌లు

ప్రధాన llama.cpp, Ollama ఇంకా V4.1 Flashను సపోర్ట్ చేయవు. 1017 GGUF ఫైల్‌లు ఒక llama.cpp బ్రాంచ్‌తో తయారయ్యాయి, దాన్ని మీరే బిల్డ్ చేయాలి; Engram పట్టికలను CPU వైపు ఉంచడం సిఫార్సు చేయబడింది (Hugging Face). ప్రస్తుతానికి ఈ ఫైల్‌లు టెక్స్ట్ మాత్రమే.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: Apple Silicon కోసం 1017 బిల్డ్‌లు

1017 MLX కమ్యూనిటీ బిల్డ్‌లు చాలా వెయిట్‌లకు DeepSeek అసలు FP4, FP8 ప్రెసిషన్‌ను ఉంచుతాయి, మల్టీ-టోకెన్ ప్రిడిక్షన్ వెయిట్‌లను కూడా కలిగి ఉంటాయి. చిత్రాలను కూడా నిర్వహించే mlx-vlm ద్వారా అవి లోడ్ అవుతాయి, LM Studio కూడా వాటిని చూపిస్తుంది. వాటికి 512 GB Mac కావాలి.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

లోకల్ మోడల్‌లకు కొత్తా? Macలో LLM నడపడం, MLX vs Ollama vs llama.cppతో మొదలుపెట్టండి.

5512 GB Mac లేదా? మీ ఎంపికలు

• API వాడండి. deepseek-flash కోసం DeepSeek మిలియన్ ఇన్‌పుట్ టోకెన్‌లకు $0.15, మిలియన్ అవుట్‌పుట్ టోకెన్‌లకు $0.60 వసూలు చేస్తుంది; DeepSeek V4.1 Flash 1017 చూడండి.
• చిన్న ఓపెన్ మోడల్ నడపండి. 64 GB Mac 70B తరగతి మోడల్‌లను, 128 GB Mac gpt-oss-120bను బాగా నడుపుతుంది: లోకల్ LLMలకు ఉత్తమ Mac చూడండి.
• Macలను కలపండి. Thunderbolt 5తో కలిపిన రెండు లేదా అంతకంటే ఎక్కువ Macలు ఏ ఒక్క Mac పట్టుకోలేని మోడల్‌లను పట్టుకోగలవు: Mac AI క్లస్టర్‌లు చూడండి.
• మీ Macను సంపాదించనివ్వండి. MLX Node ఏ Apple Silicon Macపై అయినా MLX Network కోసం AI పనులు నడిపి MLX టోకెన్‌లు సంపాదిస్తుంది, ప్రత్యేక సీటు లేకుండా రోజుకు 1 MLX వరకు. మైన్ చేసిన MLX 30 రోజులు లాక్ అవుతుంది, ప్రత్యేక సీటుతో అంతకంటే తక్కువ; రిస్క్‌లు చూడండి.

6ప్రశ్నలు

DeepSeek V4.1 Flashకు ఎంత RAM కావాలి?

Engram పట్టికలను SSDపై వదిలితే 2-బిట్ DwarfStar బిల్డ్‌కు సుమారు 163 GB, దాని 4-బిట్ బిల్డ్‌కు సుమారు 316 GB, MLX బిల్డ్‌లకు మొత్తం డౌన్‌లోడ్, అంటే 343 నుండి 432 GB. macOSకు, కాంటెక్స్ట్‌కు చోటు కలపండి.

MacBook Pro DeepSeek V4.1 Flashను నడపగలదా?

128 GB మోడల్ మాత్రమే, అదీ DwarfStarతో 2-బిట్ బిల్డ్‌ను SSD నుండి స్ట్రీమ్ చేస్తేనే; అది ప్రయోగాత్మకం, నెమ్మది. 256 లేదా 512 GB ఉన్న Mac Studioపై ఇది పూర్తిగా మెమరీలో నడుస్తుంది.

M3 Ultraపై DeepSeek V4.1 Flash ఎంత వేగం?

512 GB M3 Ultraపై MLX బిల్డ్‌తో జరిగిన మొదటి పబ్లిక్ రన్ సెకనుకు సుమారు 6.5 టోకెన్‌లు రాసింది, ప్రాంప్ట్‌లను సెకనుకు సుమారు 275 టోకెన్‌ల వేగంతో చదివింది. మెమరీ బ్యాండ్‌విడ్త్ సెకనుకు సుమారు 90 టోకెన్‌లను అనుమతిస్తుంది, కాబట్టి కొత్త సాఫ్ట్‌వేర్ వేగంగా ఉండాలి.

DeepSeek V4.1 Flash 1017కు MLX వెర్షన్ ఉందా?

అవును. MLX కమ్యూనిటీ 343 GB, 432 GB సైజుల 1017 బిల్డ్‌లను ప్రచురించింది. అవి 512 GB మెమరీ ఉన్న Macపై mlx-vlm లేదా LM Studioతో నడుస్తాయి.

DeepSeek V4.1 Flash Ollamaలో పనిచేస్తుందా?

సాధారణ Ollamaలో గానీ llama.cppలో గానీ ఇంకా లేదు. GGUF ఫైల్‌లకు సోర్స్ నుండి బిల్డ్ చేసిన llama.cpp బ్రాంచ్ కావాలి, లేదా Macలపై ఈ మోడల్‌ను సపోర్ట్ చేసే DwarfStar వాడవచ్చు.