క్లుప్తంగా
- Apple Silicon కోసం రెండు మోడల్ ఫార్మాట్లు ఉన్నాయి: Apple చిప్ల కోసం తయారైన MLX, ఎక్కడైనా నడిచే llama.cpp నుంచి వచ్చిన GGUF.
- MLX Harness, mlx-lm MLXను నడుపుతాయి; llama.cpp GGUFను నడుపుతుంది; LM Studio, Jan, (ప్రివ్యూలో) Ollama రెండింటినీ నడుపుతాయి.
- పూర్తిగా ఓపెన్ సోర్స్: MLX Harness, Ollama, Jan, llama.cpp, mlx-lm. LM Studio ఉచితం, పని కోసం కూడా, కానీ దాని డెస్క్టాప్ యాప్ సోర్స్ ప్రచురించబడలేదు.
- ఏది ఎంచుకున్నా, ఏ మోడల్లు సరిపోతాయో మెమరీయే నిర్ణయిస్తుంది: ముందు మీ Macను చెక్ చేయండి.
1ఒక్క చూపులో
| ఓపెన్ సోర్స్ | Macపై నడిపేది | యాప్ | లోకల్ API | |
|---|---|---|---|---|
| MLX Harness | అవును (Apache 2.0) | MLX | Mac యాప్ | OpenAI, Anthropic, Ollama తరహా |
| LM Studio | CLI, SDKలు, MLX ఇంజిన్ (MIT); యాప్ సోర్స్ ప్రచురించలేదు | MLX, GGUF | Mac యాప్, CLI | OpenAI, Anthropic |
| Ollama | అవును (MIT) | GGUF; MLX ప్రివ్యూలో | Mac యాప్, CLI | సొంత API, దానితో పాటు OpenAI, Anthropicలోని కొన్ని భాగాలు |
| Jan | అవును (Apache 2.0) | GGUF, MLX | Mac యాప్ | OpenAI |
| llama.cpp | అవును (MIT) | GGUF | కమాండ్ లైన్, ఒక వెబ్ UI | OpenAI, Anthropic |
| mlx-lm | అవును (MIT) | MLX | కమాండ్ లైన్ | OpenAI తరహా, ప్రాథమికం |
2ఒక్కొక్కటీ, కొన్ని లైన్లలో
MLX Harness
చాట్, అంతర్నిర్మిత టూల్స్తో కోడింగ్ ఏజెంట్లు, ఇమేజ్ జనరేషన్, OpenAI, Anthropic, Ollama ఫార్మాట్లను అర్థం చేసుకునే లోకల్ API కోసం ఉచిత, ఓపెన్ సోర్స్ Mac యాప్. ఇది Apple MLXతో మోడల్లను నడుపుతుంది, వాటిని Hugging Face నుంచి డౌన్లోడ్ చేస్తుంది; GGUF ఫైల్లను నడపదు. దీనికి Apple Siliconపై macOS 14.5 లేదా ఆ తర్వాతి వెర్షన్ కావాలి. ఇది మాది, JANGQ AI తయారుచేసిన vMLX ఆధారంగా నిర్మించబడింది, ఇందులో MLX Node ఉంది; మీరు దూరంగా ఉన్నప్పుడు అది Macను MLX Network కోసం పనిలో పెట్టగలదు (ఆధారం). గైడ్: MLX Harnessను ఎలా వాడాలి.
LM Studio
MLX, GGUF రెండు రకాల మోడల్లనూ పక్కపక్కనే నడిపే చక్కని యాప్; Hugging Faceపై నిర్మించిన మోడల్ సెర్చ్తో (LM Studio). జూలై 2025 నుంచి ఇది ఇంట్లోనూ పనిలోనూ వాడటానికి ఉచితం (LM Studio). దాని కమాండ్ లైన్ టూల్, SDKలు, MLX ఇంజిన్ MIT లైసెన్స్లో ఉన్నాయి; డెస్క్టాప్ యాప్ సోర్స్ ప్రచురించబడలేదు (GitHub). దీనికి Apple Siliconపై macOS 14 లేదా ఆ తర్వాతి వెర్షన్ కావాలి, ఇది 16 GB మెమరీని సిఫార్సు చేస్తుంది (అవసరాలు). దాని లోకల్ సర్వర్ OpenAI ఫార్మాట్ను, వెర్షన్ 0.4.1 నుంచి Anthropic ఫార్మాట్ను కూడా అర్థం చేసుకుంటుంది (చేంజ్లాగ్).
Ollama
ఒక్క కమాండ్తో మోడల్ నడిపే మార్గం; సొంత మోడల్ లైబ్రరీతో, జూలై 2025 నుంచి Macపై ఒక చాట్ యాప్ కూడా ఉంది (Ollama). ఇది MIT లైసెన్స్లో ఉంది, llama.cpp ద్వారా GGUF మోడల్లను నడుపుతుంది (GitHub). మార్చి 2026 నుంచి Apple Siliconపై దీనికి ప్రివ్యూలో ఒక MLX ఇంజిన్ ఉంది; 32 GB కంటే ఎక్కువ మెమరీ ఉన్న Macల కోసం, పెరుగుతున్న మోడల్ల జాబితాతో (Ollama). దీనికి macOS 14 లేదా ఆ తర్వాతి వెర్షన్ కావాలి (డాక్స్); పోర్ట్ 11434పై ఉండే దాని APIనే చాలా ఇతర యాప్లు ఆశిస్తాయి.
Jan
Mac, Windows, Linux కోసం ఓపెన్ సోర్స్ (Apache 2.0) చాట్ యాప్; దానితో వచ్చే llama.cpp ఇంజిన్, ఫిబ్రవరి 2026 నుంచి నేటివ్ MLX సపోర్ట్, MCP టూల్స్, OpenAI-అనుకూల సర్వర్తో (GitHub, చేంజ్లాగ్). రెండింటికీ ఒకే యాప్ కావాలంటే, ఇది క్లౌడ్ మోడల్లకు కూడా కనెక్ట్ కాగలదు.
llama.cpp
లోకల్ AIలో చాలా భాగానికి అడుగున నడిచే ఇంజిన్: MIT లైసెన్స్ ఉన్న C/C++; ఇందులో Metal ద్వారా Apple Silicon ఒక “first-class citizen” (GitHub). brew install llama.cppతో ఇన్స్టాల్ చేయండి; llama-server మీకు ఒక వెబ్ చాట్ను, OpenAI- మరియు Anthropic-అనుకూల APIని ఇస్తుంది (సర్వర్ డాక్స్). ఇది అత్యధికంగా ప్రచురించబడే ఫార్మాట్ అయిన GGUF ఫైల్లను నడుపుతుంది.
mlx-lm
లాంగ్వేజ్ మోడల్ల కోసం Apple సొంత MLX టూల్స్, MIT లైసెన్స్లో: కమాండ్ లైన్ నుంచి టెక్స్ట్ జనరేట్ చేయడం, చాట్ చేయడం, మోడల్లను కన్వర్ట్, క్వాంటైజ్ చేయడం, LoRAతో ఫైన్-ట్యూన్ చేయడం (GitHub). mlx_lm.server ఒక ప్రాథమిక OpenAI తరహా ఎండ్పాయింట్ ఇస్తుంది; దాని రచయితలు దాన్ని ప్రొడక్షన్ కోసం సిఫార్సు చేయరు (సర్వర్ డాక్స్). Hugging Faceలోని mlx-community ఆర్గనైజేషన్లో వేలాది కన్వర్ట్ చేసిన మోడల్లు ఉన్నాయి.
3ఏది ఎంచుకోవాలి
- మీకు ఓపెన్ సోర్స్, Apple Silicon కోసం తయారైన ఒక యాప్ కావాలి: MLX Harness.
- MLX, GGUF మోడల్లు ఒకే చక్కని యాప్లో కావాలి, క్లోజ్డ్ సోర్స్ అయినా పర్వాలేదు: LM Studio.
- మరో యాప్ లేదా కోడింగ్ ఏజెంట్ Ollama APIని ఆశిస్తుంది: Ollama (MLX Harness కూడా Ollama తరహా ఎండ్పాయింట్లను అందిస్తుంది).
- Mac, Windows, Linux అంతటా ఒకే చాట్ యాప్ కావాలి, లోకల్, క్లౌడ్ రెండూ: Jan.
- మీరు స్క్రిప్ట్లు రాస్తారు, సర్వర్లు నిర్మిస్తారు లేదా మీకు ఒక నిర్దిష్ట GGUF క్వాంటైజేషన్ కావాలి: llama.cpp.
- మీరు ఫైన్-ట్యూన్ చేస్తారు, మోడల్లను కన్వర్ట్ చేస్తారు లేదా మీకు Apple రిఫరెన్స్ ఇంప్లిమెంటేషన్ కావాలి: mlx-lm.
చాలామంది రెండు వాడతారు: రోజువారీ చాట్కు ఒక యాప్, స్క్రిప్ట్లకు ఒక కమాండ్ లైన్ టూల్. రెండూ ఒకే Macలో ఉండొచ్చు, కానీ ప్రతి ఒక్కటీ మోడల్ ఫైల్ల సొంత కాపీని ఉంచుకుంటుంది.
4ముందు, మీ Mac ఎంత పట్టగలదో చూడండి
ఏ యాప్ ఈ లెక్కను మార్చదు: మోడల్, దాని కాంటెక్స్ట్ కలిసి macOS GPUకి వాడుకోనిచ్చే యూనిఫైడ్ మెమరీ వాటాలో (డిఫాల్ట్గా సుమారు 75%) సరిపోవాలి; అది ఎంత వేగంగా రాస్తుందో మెమరీ బ్యాండ్విడ్త్ నిర్ణయిస్తుంది. ఒకే మోడల్కు ఒకే ప్రెసిషన్లో ఉండే MLX, GGUF ఫైల్లు దాదాపు ఒకే సైజులో ఉంటాయి.
మీ Macలో సరిపోయే ప్రతి మోడల్ను చూడండి, ప్రతి మెమరీ సైజుకు ఉత్తమ మోడల్లు చూడండి, లేదా ఒక మోడల్ నుంచి మొదలుపెట్టి దానికి ఏ Mac కావాలో చూడండి.
5Mac ఖాళీగా ఉన్నప్పుడు
లోకల్ AIని బాగా నడిపే Mac, ఇతరుల కోసం దాన్ని నడపడంలోనూ మంచిదే. మీరు మీ Macను వాడనప్పుడు, మీరు పెట్టిన పరిమితుల లోపల, MLX Node MLX Network కోసం AI జాబ్లు నడిపి, ధృవీకరించిన పనికి MLX టోకెన్లు సంపాదిస్తుంది. MLX Harnessలో ఇది ఉంటుంది. MLX టోకెన్ల విలువ తగ్గవచ్చు; రిస్క్లు చదవండి.
6ప్రశ్నలు
- LM Studio పని కోసం ఉచితమా?
- అవును. జూలై 2025 నుంచి LM Studio ఇంట్లోనూ పనిలోనూ వాడటానికి ఉచితం; పెయిడ్ ప్లాన్లు టీమ్లు, ఎంటర్ప్రైజ్ల కోసం (LM Studio).
- Ollama Macపై MLXను వాడుతుందా?
- మార్చి 2026 నుంచి ప్రివ్యూలో, 32 GB కంటే ఎక్కువ మెమరీ ఉన్న Apple Silicon Macలపై, సపోర్ట్ ఉన్న మోడల్లకు. లేకపోతే అది llama.cpp ద్వారా GGUF మోడల్లను నడుపుతుంది (Ollama).
- MLX, GGUF రెండు రకాల మోడల్లనూ ఏ యాప్ నడుపుతుంది?
- LM Studio, Jan రెండింటినీ నడుపుతాయి; Ollama GGUFను, ప్రివ్యూలో MLXను కూడా నడుపుతుంది. MLX Harness, mlx-lm MLXను మాత్రమే నడుపుతాయి; llama.cpp GGUFను మాత్రమే నడుపుతుంది.
- ఏ లోకల్ LLM యాప్లు ఓపెన్ సోర్స్?
- MLX Harness (Apache 2.0), Ollama (MIT), Jan (Apache 2.0), llama.cpp (MIT), mlx-lm (MIT). LM Studio తన కమాండ్ లైన్ టూల్, SDKలు, MLX ఇంజిన్ను MIT కింద ప్రచురిస్తుంది, కానీ డెస్క్టాప్ యాప్ను కాదు.
ఆధారాలు
- MLX Harnessgithub.com
- GitHubలో LM Studiogithub.com
- LM Studio MLXlmstudio.ai
- Ollamagithub.com
- Ollama MLX ప్రివ్యూollama.com
- Jangithub.com
- llama.cpp సర్వర్github.com
- mlx-lm సర్వర్github.com
- LM Studiolmstudio.ai
- అవసరాలుlmstudio.ai
- చేంజ్లాగ్lmstudio.ai
- Ollamaollama.com
- డాక్స్docs.ollama.com
- చేంజ్లాగ్jan.ai
- GitHubgithub.com
- GitHubgithub.com
- రిలీజ్లుgithub.com