थोडक्यात
- MLX हे Apple Silicon साठीचे Apple चे मशीन लर्निंग फ्रेमवर्क आहे. mlx-lm त्यावर लँग्वेज मॉडेल चालवते.
- llama.cpp हे वेगवान C/C++ इन्फरन्स इंजिन आहे, जे GGUF मॉडेल जवळजवळ कोणत्याही हार्डवेअरवर चालवते, Metal मार्फत Mac वरही.
- Ollama हे सोपे फ्रंट एंड आहे: मॉडेल डाउनलोड करून चालवायला एक कमांड, सोबत लोकल API. Apple Silicon वर आता त्यात MLX वर चालणारा प्रीव्ह्यूही आहे.
- Mac वर सर्वात वेगवान निकालांसाठी MLX; मॉडेल आणि प्लॅटफॉर्मच्या सर्वाधिक पर्यायांसाठी llama.cpp; सर्वात सोप्या सुरुवातीसाठी Ollama किंवा LM Studio.
1प्रत्येक काय आहे
| MLX (mlx-lm) | llama.cpp | Ollama | |
|---|---|---|---|
| कोणी बनवले | Apple, ओपन सोर्स (MIT) | ओपन-सोर्स कम्युनिटी | Ollama, ओपन सोर्स |
| कशावर चालते | Apple Silicon | Mac, Windows, Linux, अनेक GPU | Mac, Windows, Linux |
| मॉडेल फॉरमॅट | MLX (safetensors) | GGUF | स्वतःची लायब्ररी; GGUF आणि, प्रीव्ह्यूमध्ये, Mac वर MLX |
| कशासाठी सर्वोत्तम | Mac वर वेग आणि संशोधन | पोर्टेबिलिटी, क्वांटायझेशनचे पर्याय | वापरायला सोपे, API लागणारी ॲप्स |
| ट्रेनिंग आणि फाइन-ट्यूनिंग | हो (LoRA आणि पूर्ण) | मर्यादित | नाही |
2Apple Silicon वरील वेग
मजकूर जनरेट करताना तिन्ही एकाच गोष्टीमुळे मर्यादित असतात: मेमरी बँडविड्थ. फरक येतो तो प्रत्येक जण GPU किती चांगला वापरतो आणि त्याची मॉडेल कशी क्वांटाइझ केली आहेत यावरून.
MLX हे Apple Silicon च्या युनिफाइड मेमरीसाठी लिहिलेले आहे आणि M5 चिपवर GPU चे न्यूरल ॲक्सिलरेटर वापरते: Apple ने मोजले की पहिला टोकन येण्याचा वेळ M4 पेक्षा 3.3 ते 4.1 पट वेगवान आहे (Apple). मार्च 2026 मध्ये Ollama ने Apple Silicon वर एका प्रीव्ह्यूमध्ये MLX कडे वळायला सुरुवात केली, ज्यात सपोर्ट असलेल्या मॉडेलचा वेग खूप वाढला (Ollama), आणि यावरून Mac वरील परफॉर्मन्स कोणत्या दिशेने आहे हे स्पष्ट होते.
llama.cpp आजही Mac वर खूप वेगवान आहे आणि त्याचे चांगले मापन झाले आहे; त्याचा सार्वजनिक बेंचमार्क थ्रेड चिपची तुलना करण्यासाठी सर्वोत्तम संदर्भ आहे (llama.cpp). खास MLX च्या आकड्यांसाठी MLX Bench पाहा.
3कोणते वापरावे
- आजच एखाद्या मॉडेलशी चॅट करायचे आहे: LM Studio (MLX आणि GGUF दोन्ही मॉडेल चालवणारे ॲप) किंवा Ollama.
- लोकल API लागणारे ॲप बनवत आहात: Ollama, किंवा MLX वर OpenAI-कंपॅटिबल एंडपॉइंटसाठी
mlx_lm.server. - Mac मधून सर्वाधिक वेग हवा आहे, किंवा फाइन-ट्यून करायचे आहे: mlx-lm सह MLX.
- Mac, Linux आणि Windows वर एकसारखा सेटअप, किंवा विशिष्ट GGUF क्वांटायझेशन हवे आहे: llama.cpp.
तुमच्या Mac वर LLM चालवण्याच्या आमच्या स्टेप-बाय-स्टेप मार्गदर्शकात हे सगळे आहेत.
4एका Mac च्या पलीकडे MLX
MLX अनेक Mac वरही चालते, Thunderbolt 5 वरून RDMA सह (Mac AI क्लस्टर). आणि हेच MLX Network चे इंजिन आहे: MLX Node नेटवर्कसाठी MLX फ्रेमवर्कवर AI जॉब चालवते आणि पडताळलेल्या कामासाठी MLX टोकन कमावते. MLX Network हा स्वतंत्र प्रकल्प आहे, Apple ने बनवलेला नाही; फरक इथे वाचा.
5प्रश्न
- MLX हे llama.cpp पेक्षा वेगवान आहे का?
- Apple Silicon वर MLX जनरेशनमध्ये बहुधा तितकेच किंवा जास्त वेगवान असते, आणि M5 चिपवर प्रॉम्प्ट प्रोसेसिंगमध्ये विशेषतः. निकाल मॉडेल आणि क्वांटायझेशननुसार बदलतात, त्यामुळे तुमच्या स्वतःच्या Mac वर तुलना करा.
- Ollama MLX वापरू शकते का?
- हो, Ollama 0.19 पासून Apple Silicon वर प्रीव्ह्यूमध्ये, सपोर्ट असलेल्या मॉडेलसाठी, 32 GB पेक्षा जास्त मेमरी असलेल्या Mac वर.
- MLX आणि GGUF मॉडेल वेगळी असतात का?
- ती एकाच प्रकारच्या मॉडेलचे वेगवेगळे फाइल फॉरमॅट आहेत. अनेक लोकप्रिय मॉडेल दोन्हीमध्ये प्रसिद्ध होतात; Hugging Face वरील mlx-community ऑर्गनायझेशनमध्ये हजारो MLX कन्व्हर्जन आहेत.