Mac-இல் LLM இயக்க சிறந்த ஆப்கள்.

1ஒரே பார்வையில்

2ஒவ்வொன்றும், சில வரிகளில்

MLX Harness

சாட், உள்ளமைந்த கருவிகளுடன் கோடிங் ஏஜென்ட்கள், படம் உருவாக்கம், OpenAI, Anthropic, Ollama வடிவங்களைப் புரிந்துகொள்ளும் லோக்கல் API ஆகியவற்றுக்கான இலவச, ஓப்பன் சோர்ஸ் Mac ஆப். இது Apple-இன் MLX மூலம் மாடல்களை இயக்குகிறது, அவற்றை Hugging Face-இலிருந்து பதிவிறக்குகிறது; GGUF கோப்புகளை இயக்காது. இதற்கு Apple Silicon-இல் macOS 14.5 அல்லது அதற்குப் பிந்தைய பதிப்பு தேவை. இது எங்களுடையது, JANGQ AI உருவாக்கிய vMLX-இன் அடிப்படையில் கட்டப்பட்டது; இதில் MLX Node உள்ளது, நீங்கள் இல்லாதபோது அது Mac-ஐ MLX Network-க்காக வேலை செய்ய வைக்க முடியும் (ஆதாரம்). வழிகாட்டி: MLX Harness-வை எப்படிப் பயன்படுத்துவது.

LM Studio

MLX, GGUF இரண்டு வகை மாடல்களையும் அருகருகே இயக்கும் நேர்த்தியான ஆப்; Hugging Face-இன் மீது கட்டப்பட்ட மாடல் தேடலுடன் (LM Studio). ஜூலை 2025 முதல் இது வீட்டிலும் வேலையிலும் பயன்படுத்த இலவசம் (LM Studio). அதன் கமாண்ட் லைன் கருவி, SDK-கள், MLX என்ஜின் ஆகியவை MIT உரிமத்தில் உள்ளன; டெஸ்க்டாப் ஆப்பின் சோர்ஸ் வெளியிடப்படவில்லை (GitHub). இதற்கு Apple Silicon-இல் macOS 14 அல்லது அதற்குப் பிந்தைய பதிப்பு தேவை, அது 16 GB மெமரியைப் பரிந்துரைக்கிறது (தேவைகள்). அதன் லோக்கல் சர்வர் OpenAI வடிவத்தையும், பதிப்பு 0.4.1 முதல் Anthropic வடிவத்தையும் புரிந்துகொள்கிறது (சேஞ்ச்லாக்).

Ollama

ஒரே கட்டளையில் மாடலை இயக்கும் வழி; சொந்த மாடல் லைப்ரரியுடன், ஜூலை 2025 முதல் Mac-இல் ஒரு சாட் ஆப்பும் உண்டு (Ollama). இது MIT உரிமம் பெற்றது, llama.cpp மூலம் GGUF மாடல்களை இயக்குகிறது (GitHub). மார்ச் 2026 முதல் Apple Silicon-இல் இதற்குப் பிரிவியூவில் ஒரு MLX என்ஜின் உள்ளது; 32 GB-க்கு மேல் மெமரி உள்ள Mac-களுக்கு, வளர்ந்துவரும் மாடல் பட்டியலுடன் (Ollama). இதற்கு macOS 14 அல்லது அதற்குப் பிந்தைய பதிப்பு தேவை (ஆவணங்கள்); போர்ட் 11434-இல் உள்ள அதன் API-யைத்தான் பல மற்ற ஆப்கள் எதிர்பார்க்கின்றன.

Jan

Mac, Windows, Linux-க்கான ஓப்பன் சோர்ஸ் (Apache 2.0) சாட் ஆப்; உடன் வரும் llama.cpp என்ஜின், பிப்ரவரி 2026 முதல் நேட்டிவ் MLX ஆதரவு, MCP கருவிகள், OpenAI-இணக்கமான சர்வர் ஆகியவற்றுடன் (GitHub, சேஞ்ச்லாக்). இரண்டுக்கும் ஒரே ஆப் வேண்டுமென்றால், இது கிளவுட் மாடல்களுடனும் இணைய முடியும்.

llama.cpp

லோக்கல் AI-இன் பெரும்பகுதிக்கு அடியில் இயங்கும் என்ஜின்: MIT உரிமம் பெற்ற C/C++; இதில் Metal மூலம் Apple Silicon ஒரு “first-class citizen” (GitHub). brew install llama.cpp மூலம் நிறுவுங்கள்; llama-server உங்களுக்கு ஒரு வெப் சாட்டையும் OpenAI, Anthropic-இணக்கமான API-யையும் தருகிறது (சர்வர் ஆவணங்கள்). இது மிக அதிகமாக வெளியிடப்படும் வடிவமான GGUF கோப்புகளை இயக்குகிறது.

mlx-lm

லாங்குவேஜ் மாடல்களுக்கான Apple-இன் சொந்த MLX கருவிகள், MIT உரிமத்தில்: கமாண்ட் லைனிலிருந்து உரை உருவாக்கம், சாட், மாடல்களை கன்வர்ட் செய்தல், குவான்டைஸ் செய்தல், LoRA மூலம் ஃபைன்-டியூன் செய்தல் (GitHub). mlx_lm.server ஒரு அடிப்படை OpenAI பாணி எண்ட்பாயின்ட்டைத் தருகிறது; அதை உருவாக்கியவர்கள் புரொடக்ஷனுக்கு அதைப் பரிந்துரைப்பதில்லை (சர்வர் ஆவணங்கள்). Hugging Face-இல் உள்ள mlx-community அமைப்பில் ஆயிரக்கணக்கான கன்வர்ட் செய்யப்பட்ட மாடல்கள் உள்ளன.

3எதைத் தேர்ந்தெடுப்பது

• உங்களுக்கு ஓப்பன் சோர்ஸ், Apple Silicon-க்காக உருவாக்கப்பட்ட ஒரு ஆப் வேண்டும்: MLX Harness.
• MLX, GGUF மாடல்கள் ஒரே நேர்த்தியான ஆப்பில் வேண்டும், க்ளோஸ்டு சோர்ஸ் என்பது பரவாயில்லை: LM Studio.
• வேறொரு ஆப் அல்லது கோடிங் ஏஜென்ட் Ollama API-ஐ எதிர்பார்க்கிறது: Ollama (MLX Harness-வும் Ollama பாணி எண்ட்பாயின்ட்களைத் தருகிறது).
• Mac, Windows, Linux முழுவதும் ஒரே சாட் ஆப் வேண்டும், லோக்கலும் கிளவுடும்: Jan.
• நீங்கள் ஸ்கிரிப்ட் எழுதுகிறீர்கள், சர்வர்கள் உருவாக்குகிறீர்கள் அல்லது ஒரு குறிப்பிட்ட GGUF குவான்டைசேஷன் தேவை: llama.cpp.
• நீங்கள் ஃபைன்-டியூன் செய்கிறீர்கள், மாடல்களை கன்வர்ட் செய்கிறீர்கள் அல்லது Apple-இன் ரெஃபரன்ஸ் இம்ப்ளிமென்டேஷன் வேண்டும்: mlx-lm.

பலர் இரண்டைப் பயன்படுத்துகிறார்கள்: அன்றாட சாட்டுக்கு ஒரு ஆப், ஸ்கிரிப்ட்களுக்கு ஒரு கமாண்ட் லைன் கருவி. இரண்டும் ஒரே Mac-இல் இருக்கலாம், ஆனால் ஒவ்வொன்றும் மாடல் கோப்புகளின் தனி நகலை வைத்திருக்கும்.

4முதலில், உங்கள் Mac எவ்வளவு தாங்கும் என்று பாருங்கள்

எந்த ஆப்பும் இந்தக் கணக்கை மாற்றாது: ஒரு மாடலும் அதன் கான்டெக்ஸ்ட்டும், macOS GPU-வைப் பயன்படுத்த அனுமதிக்கும் யூனிஃபைடு மெமரியின் பங்கில் (இயல்பாகச் சுமார் 75%) பொருந்த வேண்டும்; அது எவ்வளவு வேகமாக எழுதுகிறது என்பதை மெமரி பேண்ட்வித் தீர்மானிக்கிறது. ஒரே மாடலின் ஒரே துல்லியத்திலான (precision) MLX, GGUF கோப்புகள் ஏறக்குறைய ஒரே அளவுதான்.

உங்கள் Mac-இல் பொருந்தும் ஒவ்வொரு மாடலையும் பாருங்கள், ஒவ்வொரு மெமரி அளவுக்குமான சிறந்த மாடல்களைப் பாருங்கள், அல்லது ஒரு மாடலிலிருந்து தொடங்கி அதற்கு எந்த Mac தேவை என்று பாருங்கள்.

5Mac சும்மா இருக்கும்போது

லோக்கல் AI-ஐ நன்றாக இயக்கும் Mac, மற்றவர்களுக்காக அதை இயக்குவதிலும் சிறந்தது. நீங்கள் Mac-ஐப் பயன்படுத்தாதபோது, நீங்கள் அமைக்கும் வரம்புகளுக்குள், MLX Node MLX Network-க்காக AI வேலைகளை இயக்கி, சரிபார்க்கப்பட்ட வேலைக்கு MLX டோக்கன்களை ஈட்டுகிறது. MLX Harness-வில் இது சேர்க்கப்பட்டுள்ளது. MLX டோக்கன்களின் மதிப்பு குறையலாம்; அபாயங்களைப் படியுங்கள்.

6கேள்விகள்

LM Studio வேலைக்கு இலவசமா?

ஆம். ஜூலை 2025 முதல் LM Studio வீட்டிலும் வேலையிலும் பயன்படுத்த இலவசம்; கட்டணத் திட்டங்கள் குழுக்களுக்கும் நிறுவனங்களுக்குமானவை (LM Studio).

Ollama Mac-இல் MLX-ஐப் பயன்படுத்துகிறதா?

மார்ச் 2026 முதல் பிரிவியூவில், 32 GB-க்கு மேல் மெமரி உள்ள Apple Silicon Mac-களில், ஆதரிக்கப்படும் மாடல்களுக்கு. மற்றபடி அது llama.cpp மூலம் GGUF மாடல்களை இயக்குகிறது (Ollama).

MLX, GGUF இரண்டு வகை மாடல்களையும் இயக்கும் ஆப் எது?

LM Studio, Jan இரண்டும் இரண்டையும் இயக்குகின்றன; Ollama GGUF-ஐயும், பிரிவியூவில் MLX-ஐயும் இயக்குகிறது. MLX Harness, mlx-lm ஆகியவை MLX-ஐ மட்டும் இயக்குகின்றன; llama.cpp GGUF-ஐ மட்டும் இயக்குகிறது.

எந்த லோக்கல் LLM ஆப்கள் ஓப்பன் சோர்ஸ்?

MLX Harness (Apache 2.0), Ollama (MIT), Jan (Apache 2.0), llama.cpp (MIT), mlx-lm (MIT). LM Studio தன் கமாண்ட் லைன் கருவி, SDK-கள், MLX என்ஜின் ஆகியவற்றை MIT-இன் கீழ் வெளியிடுகிறது, ஆனால் டெஸ்க்டாப் ஆப்பை அல்ல.