Mac वर LLM चालवण्यासाठी सर्वोत्तम ॲप्स.

1एका नजरेत

2प्रत्येक, काही ओळींत

MLX Harness

चॅट, बिल्ट-इन टूल्स असलेले कोडिंग एजंट, इमेज तयार करणे आणि OpenAI, Anthropic व Ollama फॉरमॅट समजणारा लोकल API यांसाठी एक मोफत, ओपन सोर्स Mac ॲप. ते Apple च्या MLX ने मॉडेल चालवते आणि ती Hugging Face वरून डाउनलोड करते; ते GGUF फाइल्स चालवत नाही. त्यासाठी Apple Silicon वर macOS 14.5 किंवा त्यानंतरची आवृत्ती लागते. ते आमचे आहे, JANGQ AI च्या vMLX वर आधारित आहे, आणि त्यात MLX Node आहे, जे तुम्ही दूर असताना Mac ला MLX Network च्या कामाला लावू शकते (स्रोत). मार्गदर्शक: MLX Harness कसे वापरावे.

LM Studio

एक नेटके ॲप जे MLX आणि GGUF दोन्ही प्रकारची मॉडेल शेजारी शेजारी चालवते, आणि त्यात Hugging Face वर आधारित मॉडेल सर्च आहे (LM Studio). जुलै 2025 पासून ते घरी आणि कामावर वापरायला मोफत आहे (LM Studio). त्याचे कमांड लाइन टूल, SDK आणि MLX इंजिन MIT लायसन्सखाली आहेत; डेस्कटॉप ॲपचा सोर्स प्रकाशित केलेला नाही (GitHub). त्यासाठी Apple Silicon वर macOS 14 किंवा त्यानंतरची आवृत्ती लागते, आणि ते 16 GB मेमरीची शिफारस करते (आवश्यकता). त्याचा लोकल सर्व्हर OpenAI फॉरमॅट समजतो आणि, आवृत्ती 0.4.1 पासून, Anthropic फॉरमॅटही (चेंजलॉग).

Ollama

एका कमांडमध्ये मॉडेल चालवण्याचा मार्ग, स्वतःच्या मॉडेल लायब्ररीसह, आणि जुलै 2025 पासून Mac वर एक चॅट ॲपही (Ollama). ते MIT लायसन्सखाली आहे आणि llama.cpp मार्फत GGUF मॉडेल चालवते (GitHub). मार्च 2026 पासून Apple Silicon वर त्यात प्रीव्ह्यूमध्ये एक MLX इंजिन आहे, 32 GB पेक्षा जास्त मेमरी असलेल्या Mac साठी आणि वाढत्या मॉडेल यादीसह (Ollama). त्यासाठी macOS 14 किंवा त्यानंतरची आवृत्ती लागते (डॉक्स), आणि पोर्ट 11434 वरचा त्याचा API अनेक इतर ॲप्सना अपेक्षित असतो.

Jan

Mac, Windows आणि Linux साठी एक ओपन सोर्स (Apache 2.0) चॅट ॲप, सोबत येणारे llama.cpp इंजिन, फेब्रुवारी 2026 पासून नेटिव्ह MLX सपोर्ट, MCP टूल्स आणि एक OpenAI-सुसंगत सर्व्हर यांसह (GitHub, चेंजलॉग). दोन्हींसाठी एकच ॲप हवे असेल, तर ते क्लाउड मॉडेलशीही जोडता येते.

llama.cpp

लोकल AI च्या मोठ्या भागाखाली चालणारे इंजिन: MIT लायसन्सचे C/C++, ज्यात Metal मार्फत Apple Silicon ला “first-class citizen” चा दर्जा आहे (GitHub). ते brew install llama.cpp ने इन्स्टॉल करा; llama-server तुम्हाला एक वेब चॅट आणि OpenAI- व Anthropic-सुसंगत API देते (सर्व्हर डॉक्स). ते GGUF फाइल्स चालवते, जो सर्वाधिक प्रकाशित होणारा फॉरमॅट आहे.

mlx-lm

लँग्वेज मॉडेलसाठी Apple ची स्वतःची MLX टूल्स, MIT लायसन्सखाली: कमांड लाइनवरून टेक्स्ट जनरेट करा, चॅट करा, मॉडेल कन्व्हर्ट आणि क्वांटाइझ करा, आणि LoRA ने फाइन-ट्यून करा (GitHub). mlx_lm.server एक बेसिक OpenAI-शैलीचा एंडपॉइंट देते, जो त्याचे निर्माते प्रोडक्शनसाठी सुचवत नाहीत (सर्व्हर डॉक्स). Hugging Face वरील mlx-community ऑर्गनायझेशनमध्ये हजारो कन्व्हर्ट केलेली मॉडेल आहेत.

3कोणते निवडावे

• तुम्हाला ॲप हवे आहे, ओपन सोर्स, Apple Silicon साठी बनवलेले: MLX Harness.
• तुम्हाला MLX आणि GGUF मॉडेल एकाच नेटक्या ॲपमध्ये हवी आहेत, आणि क्लोज्ड सोर्सची हरकत नाही: LM Studio.
• दुसरे ॲप किंवा कोडिंग एजंट Ollama API अपेक्षित धरतो: Ollama (MLX Harness सुद्धा Ollama-शैलीचे एंडपॉइंट देते).
• तुम्हाला Mac, Windows आणि Linux वर एकच चॅट ॲप हवे आहे, लोकल आणि क्लाउड दोन्ही: Jan.
• तुम्ही स्क्रिप्ट लिहिता, सर्व्हर बनवता किंवा तुम्हाला विशिष्ट GGUF क्वांटायझेशन हवे आहे: llama.cpp.
• तुम्ही फाइन-ट्यून करता, मॉडेल कन्व्हर्ट करता किंवा तुम्हाला Apple चे रेफरन्स इम्प्लिमेंटेशन हवे आहे: mlx-lm.

बरेच लोक दोन वापरतात: रोजच्या चॅटसाठी एक ॲप आणि स्क्रिप्टसाठी एक कमांड लाइन टूल. दोन्ही एकाच Mac वर राहू शकतात, पण प्रत्येक जण मॉडेल फाइल्सची स्वतःची वेगळी प्रत ठेवतो.

4आधी पाहा तुमच्या Mac मध्ये किती बसते

कोणतेही ॲप हे गणित बदलत नाही: मॉडेल आणि त्याचा कॉन्टेक्स्ट युनिफाइड मेमरीच्या त्या हिश्श्यात बसायला हवा जो macOS GPU ला वापरू देते, डीफॉल्टनुसार सुमारे 75%, आणि मेमरी बँडविड्थ ठरवते की ते किती वेगाने लिहिते. एकाच मॉडेलच्या एकाच प्रिसिजनच्या MLX आणि GGUF फाइल्स साधारण एकाच आकाराच्या असतात.

तुमच्या Mac मध्ये बसणारे प्रत्येक मॉडेल पाहा, प्रत्येक मेमरी आकारासाठी सर्वोत्तम मॉडेल पाहा, किंवा एखाद्या मॉडेलपासून सुरुवात करून त्याला कोणता Mac लागतो ते पाहा.

5Mac रिकामा असताना

जो Mac लोकल AI चांगले चालवतो, तो इतरांसाठी ते चालवण्यातही चांगला असतो. तुम्ही तुमचा Mac वापरत नसताना MLX Node तुम्ही ठरवलेल्या मर्यादांमध्ये MLX Network साठी AI जॉब चालवते, आणि पडताळलेल्या कामासाठी MLX टोकन कमावते. MLX Harness मध्ये ते समाविष्ट आहे. MLX टोकनचे मूल्य कमी होऊ शकते; जोखीम वाचा.

6प्रश्न

LM Studio कामासाठी मोफत आहे का?

हो. जुलै 2025 पासून LM Studio घरी आणि कामावर दोन्हीकडे वापरायला मोफत आहे; पेड प्लॅन टीम आणि एंटरप्राइझसाठी आहेत (LM Studio).

Ollama Mac वर MLX वापरते का?

मार्च 2026 पासून प्रीव्ह्यूमध्ये, 32 GB पेक्षा जास्त मेमरी असलेल्या Apple Silicon Mac वर, सपोर्ट असलेल्या मॉडेलसाठी. एरवी ते llama.cpp मार्फत GGUF मॉडेल चालवते (Ollama).

कोणते ॲप MLX आणि GGUF दोन्ही मॉडेल चालवते?

LM Studio आणि Jan दोन्ही चालवतात; Ollama GGUF चालवते आणि, प्रीव्ह्यूमध्ये, MLX सुद्धा. MLX Harness आणि mlx-lm फक्त MLX चालवतात; llama.cpp फक्त GGUF चालवते.

कोणती लोकल LLM ॲप्स ओपन सोर्स आहेत?

MLX Harness (Apache 2.0), Ollama (MIT), Jan (Apache 2.0), llama.cpp (MIT) आणि mlx-lm (MIT). LM Studio त्याचे कमांड लाइन टूल, SDK आणि MLX इंजिन MIT खाली प्रकाशित करते, पण डेस्कटॉप ॲप नाही.