మీ Macలో LLMలు డౌన్‌లోడ్ చేసి నడపండి.

1మోడల్‌లు ఎక్కడ దొరుకుతాయి

చాలా ఓపెన్-వెయిట్ మోడల్‌లు Hugging Faceలో ఉంటాయి. ఒకే మోడల్ సాధారణంగా పలు బిల్డ్‌లలో వస్తుంది; ఏ యాప్ దాన్ని నడపగలదో ఫార్మాట్ నిర్ణయిస్తుంది:

ఏ రన్‌టైమ్ వాడాలో తెలియట్లేదా? MLX vs Ollama vs llama.cpp వాటిని పోలుస్తుంది. ఇదంతా కొత్తా? Macలో LLM నడపడంతో మొదలుపెట్టండి.

2మీ మెమరీకి సరిపోయే సైజ్ ఎంచుకోండి

మోడల్ వెయిట్‌లు అదనపు స్థలంతో మెమరీలో సరిపోవాలి. MLX క్వాంటైజ్ చేసిన ప్రతి వెయిట్‌ను దాని బిట్‌లతో పాటు, ప్రతి 64 వెయిట్‌ల గ్రూప్‌కు పంచుకునే ఒక స్కేల్, బయాస్‌తో నిల్వ చేస్తుంది; అది ప్రతి వెయిట్‌కు సుమారు అర బిట్ అదనం (MLX). కాబట్టి 4-బిట్‌కు ప్రతి బిలియన్ పారామీటర్‌లకు సుమారు 0.56 GB, 8-బిట్‌కు సుమారు 1.06 GB పడుతుంది.

డిఫాల్ట్‌గా macOS యూనిఫైడ్ మెమరీలో కొంత భాగాన్ని మాత్రమే GPU వాడనిస్తుంది; Compare సుమారు మూడొంతులు అని భావిస్తుంది; macOS 15 లేదా తర్వాతి వెర్షన్‌లో sudo sysctl iogpu.wired_limit_mb=Nతో పరిమితిని ఎలా పెంచాలో mlx-lm README చూపిస్తుంది (mlx-lm). mixture-of-experts మోడల్‌లలో, మొత్తం పారామీటర్‌లు మెమరీని, యాక్టివ్ పారామీటర్‌లు వేగాన్ని నిర్ణయిస్తాయి. ప్రతి ప్రముఖ మోడల్‌కు, ప్రతి Apple చిప్‌కు Compare ఈ లెక్క చేస్తుంది; బ్యాండ్‌విడ్త్ వేగాన్ని ఎందుకు నిర్ణయిస్తుందో లోకల్ LLMల కోసం ఉత్తమ Mac వివరిస్తుంది.

3క్వాంటైజేషన్: 4-బిట్, 8-బిట్, మిగతావి

క్వాంటైజేషన్ ప్రతి వెయిట్‌ను తక్కువ బిట్‌లలో నిల్వ చేస్తుంది; కాబట్టి మోడల్ తక్కువ మెమరీ తీసుకుని వేగంగా నడుస్తుంది, నాణ్యతలో కొంత నష్టంతో. Macలో సాధారణ ప్రారంభ స్థానం 4-బిట్. 8-బిట్ అసలుకు దగ్గరగా ఉంటుంది, రెట్టింపు సైజ్. 4 బిట్‌ల కంటే తక్కువలో ఫైల్‌లు చిన్నవవుతాయి కానీ సమాధానాలు త్వరగా దిగజారుతాయి; కాబట్టి పెద్ద మోడల్ వేరే విధంగా సరిపోనప్పుడు మాత్రమే వాటిని ప్రయత్నించండి.

• MLX బిల్డ్‌లు పేరులోనే చెబుతాయి: -4bit, -8bit, కొన్నిసార్లు సున్నితమైన లేయర్‌లను ఎక్కువ బిట్‌లలో ఉంచే మిక్స్‌డ్-ప్రెసిషన్ బిల్డ్‌లు.
• GGUF ఫైల్‌లు llama.cpp పేర్లు వాడతాయి: Q4_K_M, Q5_K_M, Q8_0 మొదలైనవి. Hugging Face GGUF రిపోజిటరీని ఏదీ పేర్కొనకుండా Ollamaలో నడిపితే, Q4_K_M ఉంటే అది దాన్నే ఎంచుకుంటుంది (Hugging Face).
• మీ సొంత బిల్డ్ తయారుచేయండి: అసలు వెయిట్‌ల నుండి MLX బిల్డ్. mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q ఒక 4-బిట్ కాపీ రాస్తుంది (mlx-lm).

4డిస్క్ స్థలం, మోడల్‌లు ఎక్కడ ఉంటాయి

ఒక డౌన్‌లోడ్ దాదాపు పై పట్టికలోని వెయిట్‌లంత పెద్దది; కాబట్టి 4-బిట్ 8B మోడల్ కొన్ని గిగాబైట్‌లు, 70B మోడల్ పదుల గిగాబైట్‌లు. ఒకే మోడల్ యొక్క పలు సైజ్‌లు లేదా బిల్డ్‌లు ప్రయత్నిస్తే స్థలం త్వరగా నిండుతుంది.

mlx-lm, ఇతర Hugging Face టూల్స్ డౌన్‌లోడ్‌లను ~/.cache/huggingface/hubలో ఉంచుతాయి; దాన్ని తరలించడానికి HF_HOME లేదా HF_HUB_CACHE సెట్ చేయండి. hf cache ls అక్కడ ఏముందో చూపిస్తుంది, hf cache rm ఒక మోడల్‌ను తొలగిస్తుంది (Hugging Face). Ollama, LM Studio మోడల్‌లను తమ సొంత ఫోల్డర్‌లలో ఉంచి, తామే నిర్వహిస్తాయి.

5గేటెడ్ మోడల్‌లు, Hugging Face టోకెన్‌లు

Llamaతో సహా కొన్ని మోడల్‌లు గేటెడ్: డౌన్‌లోడ్ చేసే ముందు తయారీదారు నిబంధనలను అంగీకరించాలి (Hugging Face).

1. ఉచిత Hugging Face ఖాతాలో సైన్ ఇన్ చేసి మోడల్ పేజీ తెరవండి.
2. పేజీలోని బటన్‌తో నిబంధనలను అంగీకరించండి (డిఫాల్ట్‌గా Agree and send request to access repo). కొందరు తయారీదారులు అభ్యర్థనలను చేతితో ఆమోదిస్తారు; దానికి ఎక్కువ సమయం పడుతుంది.
3. మీ Hugging Face సెట్టింగ్‌లలో ఒక యాక్సెస్ టోకెన్ సృష్టించండి.
4. టోకెన్‌ను మీ టూల్స్‌కు ఇవ్వండి: mlx-lm, ఇతర Hugging Face టూల్స్ కోసం Terminalలో hf auth login నడపండి (Hugging Face), లేదా యాప్‌లోని Hugging Face టోకెన్ ఫీల్డ్‌లో పేస్ట్ చేయండి.

6నడపండి: నాలుగు మార్గాలు

mlx-lm: Terminalలో Apple MLX

pipతో ఇన్‌స్టాల్ చేసి, Hugging Faceలోని ఏ MLX మోడల్ పేరైనా ఇవ్వండి; మొదటి రన్ దాన్ని డౌన్‌లోడ్ చేస్తుంది (mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server ఇతర యాప్‌ల కోసం localhost:8080లో OpenAI-శైలి APIలో ఒక మోడల్‌ను సర్వ్ చేస్తుంది (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: మోడల్ బ్రౌజర్ ఉన్న యాప్

LM Studio యాప్‌లోనే Hugging Face నుండి మోడల్‌లను వెతికి డౌన్‌లోడ్ చేస్తుంది; Apple Siliconపై MLX మోడల్‌లను, llama.cpp ద్వారా GGUFను నడుపుతుంది. దానికి Apple Silicon, macOS 14 లేదా తర్వాతిది కావాలి; 16 GB లేదా అంతకంటే ఎక్కువ మెమరీని సూచిస్తుంది (LM Studio).

Ollama: ఒకే కమాండ్

Ollama తన సొంత లైబ్రరీ నుండి మోడల్‌లను, Hugging Faceలోని ఏ GGUF రిపోజిటరీనైనా నేరుగా, కావాలంటే క్వాంటైజేషన్ ట్యాగ్‌తో నడుపుతుంది (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: మా ఉచిత యాప్

MLX Harness అనేది vMLX ఆధారంగా నిర్మించిన మా ఉచిత Mac యాప్: అది Hugging Faceలో MLX మోడల్‌లను వెతుకుతుంది, చాట్ చేస్తుంది, టూల్స్, ఇమేజ్ మోడల్‌లను నడుపుతుంది, అన్నింటినీ లోకల్ APIలో సర్వ్ చేస్తుంది. దాని గేట్‌వే కూడా పోర్ట్ 8080 వాడుతుంది; కాబట్టి అదే పోర్ట్‌లో mlx_lm.serverతో కలిపి నడపకండి. మీరు Macను వాడనప్పుడు, MLX Node దాన్ని MLX Networkకు అందించగలదు.

7ప్రశ్నలు

Mac కోసం LLMలు ఎక్కడ డౌన్‌లోడ్ చేయాలి?

Hugging Face నుండి. MLX బిల్డ్‌ల కోసం చూడండి, వాటిలో చాలా mlx-community ప్రచురించినవి; లేదా GGUF ఫైల్‌ల కోసం. LM Studio, Ollama మీ కోసం వెతికి డౌన్‌లోడ్ చేయగలవు.

ఏ సైజ్ మోడల్ డౌన్‌లోడ్ చేయాలి?

దాని వెయిట్‌లు మీ Mac మెమరీలో సౌకర్యంగా సరిపోయేది: 4-బిట్‌లో ప్రతి బిలియన్ పారామీటర్‌లకు సుమారు 0.56 GB; కాబట్టి 8B మోడల్‌కు సుమారు 4.5 GB, 70Bకి 39 GB, దానికి తోడు కాంటెక్స్ట్‌కు స్థలం. mlx.appలోని Compare మీ Mac కోసం దీన్ని సరిచూస్తుంది.

Macలో MLX వాడాలా, GGUF వాడాలా?

రెండూ Apple Siliconపై బాగా నడుస్తాయి. MLX బిల్డ్‌లు Apple MLX కోసం తయారైనవి, mlx-lm, LM Studio, MLX Harnessలో నడుస్తాయి; GGUF ఫైల్‌లు llama.cpp, Ollama, LM Studioలో నడుస్తాయి.

Hugging Face ఖాతా కావాలా?

పబ్లిక్ మోడల్‌లకు అక్కర్లేదు. గేటెడ్ మోడల్‌లకు ఉచిత ఖాతా, అంగీకరించిన లైసెన్స్, యాక్సెస్ టోకెన్ కావాలి.

డౌన్‌లోడ్ చేసిన మోడల్‌లను ఆఫ్‌లైన్‌లో నడపవచ్చా?

అవును. ఫైల్‌లు మీ Macలోకి వచ్చాక, మోడల్ ఇంటర్నెట్ కనెక్షన్ లేకుండా నడుస్తుంది; మీ ప్రాంప్ట్‌లు Macలోనే ఉంటాయి.