Mac-இல் DeepSeek V4.1 Flash இயக்குங்கள்.

1எவ்வளவு மெமரி தேவை

மாடலில் 552 பில்லியன் பாராமீட்டர்கள் உள்ளன; ஆனால் அதன் பதிவிறக்கத்தில் சுமார் 189 GiB, ஒரு டோக்கனுக்குச் சில வரிசைகள் மட்டும் படிக்கப்படும் இரண்டு Engram தேடல் அட்டவணைகள். அந்த அட்டவணைகளை SSD-இல் விடும் ரன்டைம்களுக்குப் பதிவிறக்க அளவை விட மிகக் குறைந்த மெமரி போதும்; எல்லாவற்றையும் லோடு செய்யும் பில்டுகளுக்கு அது முழுவதும் தேவை (Hugging Face-இல் antirez).

macOS-க்கும் கான்டெக்ஸ்டுக்கும் இடம் விடுங்கள்: ஒரு டோக்கனுக்குச் சுமார் 890 பைட்டுகள் என்பதால், 100,000 டோக்கன் உரையாடல் 0.1 GB-க்கும் குறைவாகவே சேர்க்கிறது; எனவே தீர்மானிப்பது வெயிட்கள்தான்.

2எந்த Mac இதை இயக்க முடியும்

மாடலை Mac-இன் உள் SSD-இல் வையுங்கள்: ஜெனரேஷனின்போது Engram வரிசைகளும் ஸ்ட்ரீம் செய்யப்படும் வெயிட்களும் டிஸ்க்கிலிருந்து படிக்கப்படுகின்றன; வெளிப்புற டிரைவ் மிக மெதுவானது. பதிவிறக்கத்துக்கும் திட்டமிடுங்கள்: 250 முதல் 520 GB, கூடவே கோப்புகளை இணைக்கும்போது தேவைப்படும் காலி இடம்.

3எவ்வளவு வேகமாக இயங்கும்

Mac-இல் முதல் பொது பெஞ்ச்மார்க், செப்டம்பர் வெயிட்களின் கலப்பு 4-, 8-பிட் MLX பில்டை 512 GB கொண்ட M3 Ultra Mac Studio-வில் இயக்கியது (GitHub-இல் பெஞ்ச்மார்க்):

இது ஹார்டுவேர் அனுமதிப்பதை விட மிகக் குறைவு. எழுதும்போது ஒரு டோக்கனுக்குச் சுமார் 16 பில்லியன் பாராமீட்டர்கள், அதாவது 4 பிட்டில் சுமார் 9 GB, படிக்கப்படுகின்றன; எனவே மெமரி பேண்ட்வித் ஒரு உரையாடலை M3 Ultra-வில் (819 GB/s) வினாடிக்குத் தோராயமாக 90 டோக்கன்களுக்கும், M5 Ultra-வில் (1.2 TB/s) 130-க்கும் கட்டுப்படுத்துகிறது. புதிய ஆர்க்கிடெக்சருக்கான ஆதரவு சில வாரங்களே பழமையானது, எனவே புதிய ரன்டைம்கள் இந்த இடைவெளியின் ஒரு பகுதியைக் குறைக்கும் என எதிர்பார்க்கலாம்; தற்போதைய எண்களை MLX Bench-இலும் ரன்டைம்களின் வெளியீட்டுக் குறிப்புகளிலும் ஒப்பிடுங்கள்.

ப்ராம்ப்ட்களைப் படிப்பதைக் கட்டுப்படுத்துவது மெமரி அல்ல, கம்ப்யூட். M5 தலைமுறை சிப்களின் GPU-வில் நியூரல் ஆக்ஸிலரேட்டர்கள் உள்ளன; MLX-உடன் அவை முந்தைய சிப்களை விடப் பல மடங்கு வேகமாக ப்ராம்ப்ட்களைப் படிக்கின்றன (Apple).

4இதை எப்படி இயக்குவது

DwarfStar (ds4): மிகக் குறைந்த மெமரியில்

DwarfStar என்பது DeepSeek Flash மாடல்களுக்காக உருவாக்கப்பட்ட ஓப்பன்-சோர்ஸ் என்ஜின்; 96 GB முதல் உள்ள Mac-களுக்கு Metal ஆதரவும், சிறியவற்றுக்கு SSD ஸ்ட்ரீமிங்கும் உண்டு. எல்லா மோடுகளிலும் அது Engram அட்டவணைகளை டிஸ்க்கிலேயே வைக்கிறது (GitHub).

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./download_model.sh ds41f-q2
./ds4 -m gguf/DeepSeek-V4.1-Flash-Q2.gguf --ssd-streaming --ctx 32768

Mac-இல் 256 GB அல்லது அதற்கு மேல் இருந்தால் --ssd-streaming-ஐ விட்டுவிடுங்கள். ./ds4-server மாடலை லோக்கல் API மூலம் வழங்குகிறது.

llama.cpp: 1017 GGUF கோப்புகள்

முதன்மை llama.cpp-உம் Ollama-வும் இன்னும் V4.1 Flash-ஐ ஆதரிக்கவில்லை. 1017 GGUF கோப்புகள் ஒரு llama.cpp கிளை மூலம் உருவாக்கப்பட்டவை, அதை நீங்களே பில்டு செய்ய வேண்டும்; Engram அட்டவணைகளை CPU பக்கம் வைப்பது பரிந்துரைக்கப்படுகிறது (Hugging Face). தற்போது இந்தக் கோப்புகள் உரைக்கு மட்டுமே.

git clone https://github.com/vcruz305/llama.cpp && cd llama.cpp
git checkout 2076412
cmake -B build && cmake --build build -j
./build/bin/llama-server -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF:Q2_K -ot "engram_embd.weight=CPU"

MLX: Apple Silicon-க்கான 1017 பில்டுகள்

1017-இன் MLX கம்யூனிட்டி பில்டுகள் பெரும்பாலான வெயிட்களுக்கு DeepSeek-இன் அசல் FP4, FP8 துல்லியத்தை வைத்திருக்கின்றன, மல்டி-டோக்கன் பிரெடிக்ஷன் வெயிட்களையும் சேர்த்துள்ளன. படங்களையும் கையாளும் mlx-vlm மூலம் அவை லோடு ஆகின்றன; LM Studio-விலும் பட்டியலிடப்பட்டுள்ளன. அவற்றுக்கு 512 GB Mac தேவை.

pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp --prompt "Hello" --max-tokens 200

லோக்கல் மாடல்களுக்குப் புதியவரா? Mac-இல் LLM இயக்குவது, MLX vs Ollama vs llama.cpp ஆகியவற்றிலிருந்து தொடங்குங்கள்.

5512 GB Mac இல்லையா? உங்கள் வழிகள்

• API-ஐப் பயன்படுத்துங்கள். deepseek-flash-க்கு DeepSeek மில்லியன் உள்ளீட்டு டோக்கன்களுக்கு $0.15, மில்லியன் அவுட்புட் டோக்கன்களுக்கு $0.60 வசூலிக்கிறது; DeepSeek V4.1 Flash 1017 பாருங்கள்.
• சிறிய ஓப்பன் மாடலை இயக்குங்கள். 64 GB Mac 70B வகை மாடல்களையும், 128 GB Mac gpt-oss-120b-ஐயும் நன்றாக இயக்கும்: லோக்கல் LLM-களுக்கான சிறந்த Mac பாருங்கள்.
• Mac-களை இணையுங்கள். Thunderbolt 5 மூலம் இணைந்த இரண்டு அல்லது அதற்கு மேற்பட்ட Mac-கள், எந்தத் தனி Mac-ஆலும் கொள்ள முடியாத மாடல்களைக் கொள்ளும்: Mac AI கிளஸ்டர்கள் பாருங்கள்.
• உங்கள் Mac ஈட்டட்டும். MLX Node எந்த Apple Silicon Mac-இலும் MLX Network-க்காக AI வேலைகளை இயக்கி MLX டோக்கன்களை ஈட்டுகிறது; பிரத்யேக இருக்கை இல்லாமல் நாளுக்கு 1 MLX வரை. மைன் செய்த MLX 30 நாட்கள் லாக் ஆகும், பிரத்யேக இருக்கையுடன் அதைவிடக் குறைவு; அபாயங்களைப் பாருங்கள்.

6கேள்விகள்

DeepSeek V4.1 Flash-க்கு எவ்வளவு RAM தேவை?

Engram அட்டவணைகளை SSD-இல் விட்டால் 2-பிட் DwarfStar பில்டுக்குச் சுமார் 163 GB, அதன் 4-பிட் பில்டுக்குச் சுமார் 316 GB; MLX பில்டுகளுக்கு முழுப் பதிவிறக்கமும், அதாவது 343 முதல் 432 GB. macOS-க்கும் கான்டெக்ஸ்டுக்கும் இடம் சேர்த்துக்கொள்ளுங்கள்.

MacBook Pro-வில் DeepSeek V4.1 Flash இயங்குமா?

128 GB மாடலில் மட்டும், அதுவும் DwarfStar மூலம் 2-பிட் பில்டை SSD-இலிருந்து ஸ்ட்ரீம் செய்தால் மட்டும்; அது சோதனை நிலையில் உள்ளது, மெதுவானது. 256 அல்லது 512 GB கொண்ட Mac Studio-வில் அது முழுவதும் மெமரியில் இயங்கும்.

M3 Ultra-வில் DeepSeek V4.1 Flash எவ்வளவு வேகம்?

512 GB M3 Ultra-வில் MLX பில்டுடன் நடந்த முதல் பொது ஓட்டம் வினாடிக்கு சுமார் 6.5 டோக்கன்கள் எழுதியது, ப்ராம்ப்ட்களை வினாடிக்கு சுமார் 275 டோக்கன்கள் வேகத்தில் படித்தது. மெமரி பேண்ட்வித் வினாடிக்கு சுமார் 90 டோக்கன்கள் வரை அனுமதிக்கும், எனவே புதிய மென்பொருள் இன்னும் வேகமாக இருக்க வேண்டும்.

DeepSeek V4.1 Flash 1017-க்கு MLX பதிப்பு உள்ளதா?

ஆம். MLX கம்யூனிட்டி 343 GB, 432 GB அளவுள்ள 1017 பில்டுகளை வெளியிட்டுள்ளது. அவை 512 GB மெமரி கொண்ட Mac-இல் mlx-vlm அல்லது LM Studio மூலம் இயங்கும்.

DeepSeek V4.1 Flash Ollama-வில் வேலை செய்யுமா?

வழக்கமான Ollama-விலோ llama.cpp-இலோ இன்னும் இல்லை. GGUF கோப்புகளுக்குச் சோர்ஸிலிருந்து பில்டு செய்யப்பட்ட llama.cpp கிளை தேவை; அல்லது Mac-களில் இந்த மாடலை ஆதரிக்கும் DwarfStar-ஐப் பயன்படுத்தலாம்.