உங்கள் Mac-இல் LLM-களைப் பதிவிறக்கி இயக்குங்கள்.

1மாடல்களை எங்கே கண்டுபிடிப்பது

பெரும்பாலான ஓப்பன்-வெயிட் மாடல்கள் Hugging Face-இல் உள்ளன. ஒரே மாடல் பொதுவாகப் பல பில்டுகளாக வருகிறது; எந்த ஆப் அதை இயக்கும் என்பதை வடிவம் தீர்மானிக்கிறது:

எந்த ரன்டைமைப் பயன்படுத்துவது என்று தெரியவில்லையா? MLX vs Ollama vs llama.cpp அவற்றை ஒப்பிடுகிறது. இதெல்லாம் புதிதா? Mac-இல் LLM இயக்குவது என்பதிலிருந்து தொடங்குங்கள்.

2உங்கள் மெமரிக்குப் பொருந்தும் அளவைத் தேர்ந்தெடுங்கள்

மாடலின் வெயிட்கள் கூடுதல் இடத்துடன் மெமரியில் பொருந்த வேண்டும். MLX ஒரு குவான்டைஸ் செய்யப்பட்ட வெயிட்டை அதன் பிட்களுடன், ஒவ்வொரு 64 வெயிட் குழுவுக்கும் பகிரப்படும் ஒரு ஸ்கேல், பயஸ் சேர்த்துச் சேமிக்கிறது; அது ஒரு வெயிட்டுக்குச் சுமார் அரை பிட் கூடுதல் (MLX). எனவே 4-பிட்டுக்கு ஒவ்வொரு பில்லியன் பாராமீட்டருக்கும் சுமார் 0.56 GB, 8-பிட்டுக்குச் சுமார் 1.06 GB ஆகும்.

இயல்பாக, யூனிஃபைடு மெமரியின் ஒரு பகுதியை மட்டுமே GPU பயன்படுத்த macOS அனுமதிக்கிறது; Compare சுமார் முக்கால் பங்கு எனக் கொள்கிறது; macOS 15 அல்லது அதற்குப் பிந்தையதில் sudo sysctl iogpu.wired_limit_mb=N மூலம் வரம்பை உயர்த்துவது எப்படி என்று mlx-lm-இன் README காட்டுகிறது (mlx-lm). mixture-of-experts மாடல்களில், மொத்த பாராமீட்டர்கள் மெமரியையும், செயலில் உள்ள பாராமீட்டர்கள் வேகத்தையும் தீர்மானிக்கின்றன. ஒவ்வொரு பிரபலமான மாடலுக்கும் ஒவ்வொரு Apple சிப்புக்கும் Compare இந்தக் கணக்கைச் செய்கிறது; பேண்ட்வித் ஏன் வேகத்தைத் தீர்மானிக்கிறது என்பதை லோக்கல் LLM-களுக்கான சிறந்த Mac விளக்குகிறது.

3குவான்டைசேஷன்: 4-பிட், 8-பிட், மற்றவை

குவான்டைசேஷன் ஒவ்வொரு வெயிட்டையும் குறைவான பிட்களில் சேமிக்கிறது; எனவே மாடல் குறைந்த மெமரி எடுத்து வேகமாக இயங்கும், தரத்தில் சிறிது இழப்புடன். Mac-இல் வழக்கமான தொடக்கப் புள்ளி 4-பிட். 8-பிட் அசலுக்கு நெருக்கமானது, இரண்டு மடங்கு அளவு. 4 பிட்டுக்குக் கீழே, கோப்புகள் சிறியதாகின்றன ஆனால் பதில்கள் விரைவாக மோசமாகின்றன; எனவே பெரிய மாடல் வேறு வழியில் பொருந்தாதபோது மட்டுமே அவற்றை முயலுங்கள்.

• MLX பில்டுகள் பெயரிலேயே சொல்கின்றன: -4bit, -8bit, சில சமயம் உணர்திறன் மிக்க லேயர்களை அதிக பிட்களில் வைக்கும் கலப்புத் துல்லிய பில்டுகள்.
• GGUF கோப்புகள் llama.cpp-இன் பெயர்களைப் பயன்படுத்துகின்றன: Q4_K_M, Q5_K_M, Q8_0 போன்றவை. Hugging Face GGUF ரிப்போசிட்டரியை எதையும் குறிப்பிடாமல் Ollama-வில் இயக்கினால், Q4_K_M இருந்தால் அது அதைத் தேர்ந்தெடுக்கிறது (Hugging Face).
• சொந்த பில்டை உருவாக்குங்கள்: அசல் வெயிட்களிலிருந்து MLX பில்டு. mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q ஒரு 4-பிட் பிரதியை எழுதுகிறது (mlx-lm).

4டிஸ்க் இடம், மாடல்கள் எங்கே வைக்கப்படுகின்றன

ஒரு பதிவிறக்கம் மேலே உள்ள அட்டவணையில் உள்ள வெயிட்களின் அளவுக்கே இருக்கும்; எனவே 4-பிட் 8B மாடல் சில ஜிகாபைட்டுகள், 70B மாடல் பத்துக்கணக்கான ஜிகாபைட்டுகள். ஒரே மாடலின் பல அளவுகளையோ பில்டுகளையோ முயன்றால் இடம் விரைவாகக் கூடும்.

mlx-lm-உம் மற்ற Hugging Face டூல்களும் பதிவிறக்கங்களை ~/.cache/huggingface/hub-இல் வைக்கின்றன; அதை நகர்த்த HF_HOME அல்லது HF_HUB_CACHE-ஐ அமையுங்கள். hf cache ls அங்கே என்ன இருக்கிறது என்று காட்டுகிறது, hf cache rm ஒரு மாடலை நீக்குகிறது (Hugging Face). Ollama-வும் LM Studio-வும் மாடல்களைத் தங்கள் சொந்த ஃபோல்டர்களில் வைத்து, தாங்களே நிர்வகிக்கின்றன.

5கேட்டட் மாடல்கள், Hugging Face டோக்கன்கள்

Llama உட்பட சில மாடல்கள் கேட்டட் ஆனவை: பதிவிறக்கும் முன் உருவாக்கியவரின் விதிமுறைகளை ஏற்க வேண்டும் (Hugging Face).

1. இலவச Hugging Face கணக்கில் உள்நுழைந்து மாடலின் பக்கத்தைத் திறங்கள்.
2. பக்கத்தில் உள்ள பொத்தானால் விதிமுறைகளை ஏற்றுக்கொள்ளுங்கள் (இயல்பாக Agree and send request to access repo). சில உருவாக்குநர்கள் கோரிக்கைகளைக் கைமுறையாக அனுமதிக்கின்றனர்; அதற்கு அதிக நேரம் ஆகும்.
3. உங்கள் Hugging Face அமைப்புகளில் ஒரு அக்சஸ் டோக்கனை உருவாக்குங்கள்.
4. டோக்கனை உங்கள் டூல்களுக்குக் கொடுங்கள்: mlx-lm, மற்ற Hugging Face டூல்களுக்கு Terminal-இல் hf auth login இயக்குங்கள் (Hugging Face), அல்லது ஆப்பின் Hugging Face டோக்கன் புலத்தில் ஒட்டுங்கள்.

6இயக்குங்கள்: நான்கு வழிகள்

mlx-lm: Terminal-இல் Apple-இன் MLX

pip மூலம் நிறுவி, Hugging Face-இல் உள்ள எந்த MLX மாடலின் பெயரையும் குறிப்பிடுங்கள்; முதல் ஓட்டம் அதைப் பதிவிறக்கும் (mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server மற்ற ஆப்களுக்காக localhost:8080-இல் OpenAI-பாணி API மூலம் ஒரு மாடலை வழங்குகிறது (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: மாடல் பிரவுசர் கொண்ட ஆப்

LM Studio ஆப்புக்குள்ளேயே Hugging Face-இலிருந்து மாடல்களைத் தேடிப் பதிவிறக்குகிறது; Apple Silicon-இல் MLX மாடல்களையும், llama.cpp மூலம் GGUF-ஐயும் இயக்குகிறது. அதற்கு Apple Silicon-உம் macOS 14 அல்லது அதற்குப் பிந்தையதும் தேவை; 16 GB அல்லது அதற்கு மேல் மெமரியைப் பரிந்துரைக்கிறது (LM Studio).

Ollama: ஒரே கட்டளை

Ollama தன் சொந்த லைப்ரரியிலிருந்து மாடல்களை இயக்குகிறது; Hugging Face-இல் உள்ள எந்த GGUF ரிப்போசிட்டரியையும் நேரடியாக, விரும்பினால் குவான்டைசேஷன் டேக்குடன் இயக்குகிறது (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: எங்கள் இலவச ஆப்

MLX Harness என்பது vMLX அடிப்படையில் கட்டப்பட்ட எங்கள் இலவச Mac ஆப்: அது Hugging Face-இல் MLX மாடல்களைத் தேடுகிறது, சாட் செய்கிறது, டூல்களையும் பட மாடல்களையும் இயக்குகிறது, எல்லாவற்றையும் லோக்கல் API மூலம் வழங்குகிறது. அதன் கேட்வேயும் போர்ட் 8080-ஐப் பயன்படுத்துகிறது; எனவே அதே போர்ட்டில் mlx_lm.server-உடன் சேர்த்து இயக்காதீர்கள். நீங்கள் Mac-ஐப் பயன்படுத்தாதபோது, MLX Node அதை MLX Network-க்குக் கொடுக்கலாம்.

7கேள்விகள்

Mac-க்கான LLM-களை எங்கே பதிவிறக்குவது?

Hugging Face-இலிருந்து. MLX பில்டுகளைத் தேடுங்கள், அவற்றில் பல mlx-community வெளியிட்டவை; அல்லது GGUF கோப்புகளை. LM Studio-வும் Ollama-வும் உங்களுக்காகத் தேடிப் பதிவிறக்கும்.

எந்த அளவு மாடலைப் பதிவிறக்க வேண்டும்?

அதன் வெயிட்கள் உங்கள் Mac-இன் மெமரியில் வசதியாகப் பொருந்தும் மாடல்: 4-பிட்டில் ஒவ்வொரு பில்லியன் பாராமீட்டருக்கும் சுமார் 0.56 GB; எனவே 8B மாடலுக்குச் சுமார் 4.5 GB, 70B-க்கு 39 GB, கூடவே கான்டெக்ஸ்ட்டுக்கு இடம். mlx.app-இல் உள்ள Compare உங்கள் Mac-க்கு இதைச் சரிபார்க்கிறது.

Mac-இல் MLX-ஆ, GGUF-ஆ?

இரண்டும் Apple Silicon-இல் நன்றாக இயங்கும். MLX பில்டுகள் Apple-இன் MLX-க்காக உருவாக்கப்பட்டவை, mlx-lm, LM Studio, MLX Harness-வில் இயங்குகின்றன; GGUF கோப்புகள் llama.cpp, Ollama, LM Studio-வில் இயங்குகின்றன.

Hugging Face கணக்கு தேவையா?

பொது மாடல்களுக்குத் தேவையில்லை. கேட்டட் மாடல்களுக்கு இலவச கணக்கு, ஏற்றுக்கொண்ட லைசென்ஸ், அக்சஸ் டோக்கன் தேவை.

பதிவிறக்கிய மாடல்களை ஆஃப்லைனில் இயக்கலாமா?

ஆம். கோப்புகள் உங்கள் Mac-இல் வந்துவிட்டால், மாடல் இன்டர்நெட் இணைப்பு இல்லாமல் இயங்கும்; உங்கள் ப்ராம்ப்ட்கள் Mac-இலேயே இருக்கும்.