சுருக்கமாக
- MLX என்பது Apple Silicon-க்கான Apple-இன் மெஷின் லேர்னிங் ஃபிரேம்வொர்க். mlx-lm அதன் மீது லாங்குவேஜ் மாடல்களை இயக்குகிறது.
- llama.cpp என்பது GGUF மாடல்களை கிட்டத்தட்ட எந்த ஹார்டுவேரிலும் இயக்கும் வேகமான C/C++ இன்ஃபரன்ஸ் என்ஜின்; Metal மூலம் Mac-களிலும் இயங்கும்.
- Ollama என்பது எளிய முன்பகுதி: ஒரு மாடலைப் பதிவிறக்கி இயக்க ஒரே கட்டளை, கூடவே லோக்கல் API. Apple Silicon-இல் இப்போது அதற்கு MLX-ஆல் இயங்கும் பிரிவியூ உள்ளது.
- Mac-க்கே உரிய அதிகபட்ச வேகத்துக்கு MLX; மிகப் பரந்த மாடல், தளத் தேர்வுகளுக்கு llama.cpp; எளிதான தொடக்கத்துக்கு Ollama அல்லது LM Studio.
1ஒவ்வொன்றும் என்ன
| MLX (mlx-lm) | llama.cpp | Ollama | |
|---|---|---|---|
| உருவாக்கியவர் | Apple, ஓப்பன் சோர்ஸ் (MIT) | ஓப்பன்-சோர்ஸ் சமூகம் | Ollama, ஓப்பன் சோர்ஸ் |
| இயங்கும் தளம் | Apple Silicon | Mac, Windows, Linux, பல GPU-கள் | Mac, Windows, Linux |
| மாடல் வடிவம் | MLX (safetensors) | GGUF | அதன் சொந்த லைப்ரரி; GGUF, Mac-இல் பிரிவியூவில் MLX |
| எதற்குச் சிறந்தது | Mac-களில் வேகம், ஆராய்ச்சி | போர்ட்டபிலிட்டி, குவான்டைசேஷன் தேர்வு | எளிமை, API தேவைப்படும் ஆப்கள் |
| பயிற்சி, ஃபைன்-டியூனிங் | ஆம் (LoRA, முழுமையானது) | குறைவு | இல்லை |
2Apple Silicon-இல் வேகம்
உரையை உருவாக்கும்போது மூன்றையும் கட்டுப்படுத்துவது ஒரே விஷயம்: மெமரி பேண்ட்வித். வேறுபாடுகள், ஒவ்வொன்றும் GPU-வை எவ்வளவு நன்றாகப் பயன்படுத்துகிறது, அதன் மாடல்கள் எப்படி குவான்டைஸ் செய்யப்படுகின்றன என்பதிலிருந்து வருகின்றன.
MLX, Apple Silicon-இன் யூனிஃபைடு மெமரிக்காக எழுதப்பட்டது; M5 சிப்களில் GPU-வின் நியூரல் ஆக்ஸிலரேட்டர்களைப் பயன்படுத்துகிறது: முதல் டோக்கனுக்கான நேரம் M4-ஐ விட 3.3 முதல் 4.1 மடங்கு வேகம் என Apple அளந்தது (Apple). மார்ச் 2026-இல் Ollama, ஆதரிக்கப்படும் மாடல்களுக்குப் பெரிய வேக உயர்வுடன் கூடிய பிரிவியூவில் Apple Silicon-இல் MLX-க்கு மாறத் தொடங்கியது (Ollama); Mac செயல்திறன் எங்கே இருக்கிறது என்பதை இது தெளிவாகச் சொல்கிறது.
llama.cpp இன்னும் Mac-களில் மிக வேகமானது, நன்கு அளவிடப்பட்டது; சிப்களை ஒப்பிட அதன் பொது பெஞ்ச்மார்க் திரியே சிறந்த குறிப்பு (llama.cpp). குறிப்பாக MLX-க்கான எண்களுக்கு MLX Bench பாருங்கள்.
3எதைப் பயன்படுத்துவது
- இன்றே ஒரு மாடலுடன் சாட் செய்ய வேண்டும்: LM Studio (MLX, GGUF இரண்டு வகை மாடல்களையும் இயக்கும் ஆப்) அல்லது Ollama.
- லோக்கல் API தேவைப்படும் ஆப் உருவாக்குகிறீர்கள்: Ollama, அல்லது MLX-இல் OpenAI-இணக்கமான எண்ட்பாயிண்ட்டுக்கு
mlx_lm.server. - Mac-இலிருந்து அதிகபட்ச வேகம் வேண்டும், அல்லது ஃபைன்-டியூன் செய்ய வேண்டும்: mlx-lm உடன் MLX.
- Mac, Linux, Windows-இல் ஒரே அமைப்பு, அல்லது குறிப்பிட்ட GGUF குவான்டைசேஷன் தேவை: llama.cpp.
உங்கள் Mac-இல் LLM இயக்குவது பற்றிய எங்கள் படிப்படியான வழிகாட்டி இவை அனைத்தையும் விளக்குகிறது.
4ஒரு Mac-க்கு அப்பால் MLX
MLX பல Mac-களிலும், Thunderbolt 5 மூலம் RDMA உடன் இயங்குகிறது (Mac AI கிளஸ்டர்கள்). அது MLX Network-இன் என்ஜினும் கூட: MLX Node நெட்வொர்க்குக்காக MLX ஃபிரேம்வொர்க்கில் AI வேலைகளை இயக்கி, சரிபார்க்கப்பட்ட வேலைக்கு MLX டோக்கன்களை ஈட்டுகிறது. MLX Network ஒரு சுயாதீனத் திட்டம், Apple உருவாக்கியது அல்ல; வேறுபாடு இதோ.
5கேள்விகள்
- llama.cpp-ஐ விட MLX வேகமானதா?
- Apple Silicon-இல், ஜெனரேஷனில் MLX பெரும்பாலும் அதே வேகம் அல்லது அதிக வேகம்; குறிப்பாக M5 சிப்களில் ப்ராம்ப்ட் செயலாக்கத்தில். முடிவுகள் மாடலுக்கும் குவான்டைசேஷனுக்கும் ஏற்ப மாறும்; எனவே உங்கள் சொந்த Mac-இல் ஒப்பிடுங்கள்.
- Ollama, MLX-ஐப் பயன்படுத்த முடியுமா?
- ஆம், Ollama 0.19 முதல் Apple Silicon-இல் பிரிவியூவாக, ஆதரிக்கப்படும் மாடல்களுக்கு, 32 GB-க்கும் அதிகமான மெமரி கொண்ட Mac-களில்.
- MLX, GGUF மாடல்கள் வேறுபட்டவையா?
- ஒரே வகை மாடல்களுக்கான வெவ்வேறு கோப்பு வடிவங்கள் அவை. பல பிரபலமான மாடல்கள் இரண்டிலும் வெளியிடப்படுகின்றன; Hugging Face-இல் உள்ள mlx-community அமைப்பில் ஆயிரக்கணக்கான MLX மாற்றங்கள் உள்ளன.