तुमच्या Mac वर LLM डाउनलोड करा आणि चालवा.

1मॉडेल कुठे मिळतात

बहुतेक ओपन-वेट मॉडेल Hugging Face वर असतात. एकच मॉडेल सहसा अनेक बिल्डमध्ये येते, आणि कोणते ॲप ते चालवू शकते हे फॉरमॅट ठरवते:

कोणता रनटाइम वापरावा हे ठरत नाही? MLX vs Ollama vs llama.cpp त्यांची तुलना करते. हे सगळे नवीन आहे? Mac वर LLM चालवणे पासून सुरुवात करा.

2तुमच्या मेमरीत बसेल असा आकार निवडा

मॉडेलचे वेट मेमरीत पुरेशी जागा ठेवून बसले पाहिजेत. MLX क्वांटाइज्ड वेट त्याच्या बिट्ससोबत, 64 वेटच्या प्रत्येक गटासाठी एक सामायिक स्केल आणि बायस धरून साठवते, म्हणजे प्रति वेट सुमारे अर्धा बिट जास्त (MLX). म्हणून 4-बिटला प्रति अब्ज पॅरामीटर सुमारे 0.56 GB आणि 8-बिटला सुमारे 1.06 GB लागतात.

डीफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीचा फक्त एक भागच वापरू देते; Compare सुमारे तीन-चतुर्थांश गृहीत धरते, आणि macOS 15 किंवा नंतर sudo sysctl iogpu.wired_limit_mb=N ने ही मर्यादा कशी वाढवायची ते mlx-lm च्या README मध्ये आहे (mlx-lm). mixture-of-experts मॉडेलमध्ये एकूण पॅरामीटर मेमरी ठरवतात आणि सक्रिय पॅरामीटर वेग ठरवतात. Compare हा हिशोब प्रत्येक लोकप्रिय मॉडेल आणि प्रत्येक Apple चिपसाठी करते, आणि बँडविड्थ वेग का ठरवते हे लोकल LLM साठी सर्वोत्तम Mac मध्ये स्पष्ट केले आहे.

3क्वांटायझेशन: 4-बिट, 8-बिट आणि बाकीचे

क्वांटायझेशन प्रत्येक वेट कमी बिटमध्ये साठवते, त्यामुळे मॉडेल कमी मेमरी घेते आणि वेगाने चालते, गुणवत्तेत थोडी किंमत मोजून. Mac वर 4-बिट हा नेहमीचा सुरुवातीचा पर्याय आहे. 8-बिट मूळाच्या जवळ असते आणि दुप्पट आकाराचे. 4 बिटच्या खाली फाइल लहान होतात पण उत्तरे लवकर खराब होतात, म्हणून मोठे मॉडेल अन्यथा बसत नसेल तेव्हाच ते वापरून पाहा.

• MLX बिल्ड हे नावातच सांगतात: -4bit, -8bit, आणि कधी कधी संवेदनशील लेयर जास्त बिटमध्ये ठेवणारे मिश्र-प्रिसिजन बिल्ड.
• GGUF फाइल llama.cpp ची नावे वापरतात: Q4_K_M, Q5_K_M, Q8_0 वगैरे. Hugging Face GGUF रिपॉझिटरी कोणतेही नाव न देता Ollama मध्ये चालवल्यास, Q4_K_M असेल तर ते तेच निवडते (Hugging Face).
• स्वतःचे बनवा: मूळ वेटपासून MLX बिल्ड. mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q एक 4-बिट प्रत लिहिते (mlx-lm).

4डिस्क जागा आणि मॉडेल कुठे ठेवली जातात

डाउनलोड साधारण वरील टेबलमधील वेटइतकेच मोठे असते, म्हणून 4-बिट 8B मॉडेल काही गिगाबाइट आणि 70B मॉडेल दहापट गिगाबाइट असते. एकाच मॉडेलचे अनेक आकार किंवा बिल्ड वापरून पाहिल्यास जागा पटकन भरते.

mlx-lm आणि इतर Hugging Face टूल डाउनलोड ~/.cache/huggingface/hub मध्ये ठेवतात; ती जागा बदलायची असेल तर HF_HOME किंवा HF_HUB_CACHE सेट करा. hf cache ls तिथे काय आहे ते दाखवते आणि hf cache rm मॉडेल हटवते (Hugging Face). Ollama आणि LM Studio मॉडेल स्वतःच्या फोल्डरमध्ये ठेवतात आणि स्वतःच सांभाळतात.

5गेटेड मॉडेल आणि Hugging Face टोकन

Llama सह काही मॉडेल गेटेड आहेत: डाउनलोड करण्याआधी बनवणाऱ्याच्या अटी स्वीकाराव्या लागतात (Hugging Face).

1. मोफत Hugging Face अकाउंटमध्ये साइन इन करा आणि मॉडेलचे पेज उघडा.
2. पेजवरील बटणाने अटी स्वीकारा (डीफॉल्टनुसार Agree and send request to access repo). काही बनवणारे विनंत्या हाताने मंजूर करतात, त्याला जास्त वेळ लागतो.
3. तुमच्या Hugging Face सेटिंग्जमध्ये ॲक्सेस टोकन तयार करा.
4. टोकन तुमच्या टूलना द्या: mlx-lm आणि इतर Hugging Face टूलसाठी Terminal मध्ये hf auth login चालवा (Hugging Face), किंवा ॲपच्या Hugging Face टोकन फील्डमध्ये पेस्ट करा.

6चालवा: चार मार्ग

mlx-lm: Terminal मध्ये Apple चे MLX

pip ने इन्स्टॉल करा, मग Hugging Face वरील कोणत्याही MLX मॉडेलचे नाव द्या; पहिल्या रनमध्ये ते डाउनलोड होते (mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server इतर ॲपसाठी localhost:8080 वर OpenAI-शैलीच्या API वर मॉडेल सर्व्ह करते (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: मॉडेल ब्राउझर असलेले ॲप

LM Studio ॲपमध्येच Hugging Face वरून मॉडेल शोधते आणि डाउनलोड करते, आणि Apple Silicon वर MLX मॉडेल तसेच llama.cpp मधून GGUF चालवते. त्याला Apple Silicon आणि macOS 14 किंवा नंतरचे व्हर्जन लागते, आणि ते 16 GB किंवा जास्त मेमरी सुचवते (LM Studio).

Ollama: एकच कमांड

Ollama त्याच्या स्वतःच्या लायब्ररीतील मॉडेल, आणि Hugging Face वरील कोणतीही GGUF रिपॉझिटरी थेट, हवे असल्यास क्वांटायझेशन टॅगसह, चालवते (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: आमचे मोफत ॲप

MLX Harness हे vMLX वर आधारित आमचे मोफत Mac ॲप आहे: ते Hugging Face वर MLX मॉडेल शोधते, चॅट करते, टूल आणि इमेज मॉडेल चालवते, आणि सगळे लोकल API वर सर्व्ह करते. त्याचा गेटवेही पोर्ट 8080 वापरतो, म्हणून त्याच पोर्टवर mlx_lm.server सोबत ते चालवू नका. तुम्ही Mac वापरत नसाल तेव्हा MLX Node तो MLX Network ला देऊ शकते.

7प्रश्न

Mac साठी LLM कुठून डाउनलोड करावे?

Hugging Face वरून. MLX बिल्ड शोधा, त्यातले अनेक mlx-community ने प्रकाशित केलेले, किंवा GGUF फाइल. LM Studio आणि Ollama तुमच्यासाठी शोधून डाउनलोड करू शकतात.

कोणत्या आकाराचे मॉडेल डाउनलोड करावे?

ज्याचे वेट तुमच्या Mac च्या मेमरीत आरामात बसतात ते: 4-बिटमध्ये प्रति अब्ज पॅरामीटर सुमारे 0.56 GB, म्हणजे 8B मॉडेलसाठी सुमारे 4.5 GB आणि 70B साठी 39 GB, शिवाय कॉन्टेक्स्टसाठी जागा. mlx.app वरील Compare तुमच्या Mac साठी हे तपासते.

Mac वर MLX की GGUF?

दोन्ही Apple Silicon वर चांगले चालतात. MLX बिल्ड Apple च्या MLX साठी बनवलेले असतात आणि mlx-lm, LM Studio व MLX Harness मध्ये चालतात; GGUF फाइल llama.cpp, Ollama आणि LM Studio मध्ये चालतात.

Hugging Face अकाउंट लागते का?

सार्वजनिक मॉडेलसाठी नाही. गेटेड मॉडेलसाठी मोफत अकाउंट, स्वीकारलेले लायसन्स आणि ॲक्सेस टोकन लागतो.

डाउनलोड केलेली मॉडेल ऑफलाइन चालवता येतात का?

हो. फाइल तुमच्या Mac वर आल्या की मॉडेल इंटरनेट कनेक्शनशिवाय चालते आणि तुमचे प्रॉम्प्ट Mac वरच राहतात.