अपने Mac पर LLM डाउनलोड करें और चलाएँ।

1मॉडल कहाँ मिलते हैं

ज़्यादातर ओपन-वेट मॉडल Hugging Face पर होते हैं। एक ही मॉडल आम तौर पर कई बिल्ड में आता है, और फ़ॉर्मेट तय करता है कि कौन-सा ऐप उसे चला सकता है:

पक्का नहीं कि कौन-सा रनटाइम इस्तेमाल करें? MLX बनाम Ollama बनाम llama.cpp इनकी तुलना करता है। यह सब नया है? अपने Mac पर LLM चलाने वाली गाइड से शुरू करें।

2ऐसा साइज़ चुनें जो आपकी मेमोरी में आए

मॉडल के वेट मेमोरी में कुछ जगह छोड़कर फ़िट होने चाहिए। MLX क्वांटाइज़्ड वेट को उसके bits के साथ हर 64 वेट के समूह के लिए एक साझा स्केल और बायस के साथ रखता है, यानी हर वेट पर करीब आधा bit ज़्यादा (MLX)। इसलिए 4-bit पर हर अरब पैरामीटर पर करीब 0.56 GB लगता है और 8-bit पर करीब 1.06 GB।

macOS डिफ़ॉल्ट रूप से GPU को यूनिफ़ाइड मेमोरी का सिर्फ़ एक हिस्सा इस्तेमाल करने देता है; Compare करीब तीन-चौथाई मानता है, और mlx-lm का README बताता है कि macOS 15 या नए पर sudo sysctl iogpu.wired_limit_mb=N से यह सीमा कैसे बढ़ाएँ (mlx-lm)। mixture-of-experts मॉडल में कुल पैरामीटर मेमोरी तय करते हैं और एक्टिव पैरामीटर स्पीड। Compare हर लोकप्रिय मॉडल और हर Apple चिप के लिए यह हिसाब करता है, और लोकल LLM के लिए सबसे अच्छा Mac बताता है कि स्पीड बैंडविड्थ से क्यों तय होती है।

3क्वांटाइज़ेशन: 4-bit, 8-bit और बाकी

क्वांटाइज़ेशन हर वेट को कम bits में रखता है, इसलिए मॉडल कम मेमोरी लेता है और तेज़ चलता है, थोड़ी क्वालिटी की कीमत पर। Mac पर 4-bit आम शुरुआत है। 8-bit ओरिजिनल के ज़्यादा करीब और दोगुने साइज़ का है। 4 bits से नीचे फ़ाइलें छोटी हो जाती हैं लेकिन जवाब जल्दी बिगड़ने लगते हैं, इसलिए इन्हें तभी आज़माएँ जब बड़ा मॉडल किसी और तरह फ़िट न हो।

• MLX बिल्ड यह नाम में बताते हैं: -4bit, -8bit, और कभी-कभी मिक्स्ड-प्रिसिज़न बिल्ड जो संवेदनशील लेयर को ज़्यादा bits पर रखते हैं।
• GGUF फ़ाइलें llama.cpp के नाम इस्तेमाल करती हैं: Q4_K_M, Q5_K_M, Q8_0 वगैरह। जब आप Ollama में किसी Hugging Face GGUF रिपॉज़िटरी को बिना फ़ाइल का नाम दिए चलाते हैं, तो Q4_K_M मौजूद हो तो वही लेता है (Hugging Face)।
• अपना बिल्ड खुद बनाएँ ओरिजिनल वेट से: mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q एक 4-bit कॉपी लिखता है (mlx-lm)।

4डिस्क स्पेस और मॉडल कहाँ रखे जाते हैं

डाउनलोड लगभग उतना ही बड़ा होता है जितने ऊपर की टेबल में वेट, यानी 4-bit 8B मॉडल कुछ गीगाबाइट का और 70B मॉडल दसियों गीगाबाइट का। एक ही मॉडल के कई साइज़ या बिल्ड आज़माना जल्दी जुड़ जाता है।

mlx-lm और दूसरे Hugging Face टूल डाउनलोड ~/.cache/huggingface/hub में रखते हैं; इसे दूसरी जगह ले जाने के लिए HF_HOME या HF_HUB_CACHE सेट करें। hf cache ls दिखाता है कि वहाँ क्या है और hf cache rm कोई मॉडल हटाता है (Hugging Face)। Ollama और LM Studio मॉडल अपने फ़ोल्डरों में रखते हैं और खुद संभालते हैं।

5गेटेड मॉडल और Hugging Face टोकन

कुछ मॉडल, जिनमें Llama भी है, गेटेड हैं: इन्हें डाउनलोड करने से पहले आपको बनाने वाले की शर्तें स्वीकार करनी होती हैं (Hugging Face)।

1. मुफ़्त Hugging Face अकाउंट में साइन इन करें और मॉडल का पेज खोलें।
2. पेज के बटन से शर्तें स्वीकार करें (डिफ़ॉल्ट रूप से Agree and send request to access repo)। कुछ बनाने वाले अनुरोध हाथ से मंज़ूर करते हैं, जिसमें ज़्यादा समय लगता है।
3. अपनी Hugging Face सेटिंग्स में एक एक्सेस टोकन बनाएँ।
4. टोकन अपने टूल को दें: mlx-lm और दूसरे Hugging Face टूल के लिए Terminal में hf auth login चलाएँ (Hugging Face), या इसे ऐप के Hugging Face टोकन फ़ील्ड में पेस्ट करें।

6चलाएँ: चार तरीके

mlx-lm: Terminal में Apple का MLX

इसे pip से इंस्टॉल करें, फिर Hugging Face पर किसी भी MLX मॉडल का नाम दें; पहली बार चलाने पर वह डाउनलोड हो जाता है (mlx-lm)।

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server दूसरे ऐप के लिए localhost:8080 पर OpenAI जैसी API पर मॉडल उपलब्ध कराता है (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: मॉडल ब्राउज़र वाला ऐप

LM Studio ऐप के अंदर ही Hugging Face से मॉडल खोजता और डाउनलोड करता है और Apple Silicon पर MLX मॉडल के साथ llama.cpp के ज़रिए GGUF भी चलाता है। इसे Apple Silicon और macOS 14 या नया चाहिए, और यह 16 GB या ज़्यादा मेमोरी की सलाह देता है (LM Studio)।

Ollama: एक कमांड

Ollama अपनी लाइब्रेरी के मॉडल चलाता है, और Hugging Face पर किसी भी GGUF रिपॉज़िटरी को सीधे भी, चाहें तो क्वांटाइज़ेशन टैग के साथ (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: हमारा मुफ़्त ऐप

MLX Harness हमारा मुफ़्त Mac ऐप है, जो vMLX पर बना है: यह Hugging Face पर MLX मॉडल खोजता है, चैट करता है, टूल और इमेज मॉडल चलाता है, और सब कुछ एक लोकल API पर उपलब्ध कराता है। इसका गेटवे भी पोर्ट 8080 इस्तेमाल करता है, इसलिए इसे उसी पोर्ट पर mlx_lm.server के साथ न चलाएँ। जब आप Mac इस्तेमाल नहीं कर रहे हों, तो MLX Node उसे MLX Network को दे सकता है।

7सवाल

Mac के लिए LLM कहाँ से डाउनलोड करें?

Hugging Face से। MLX बिल्ड देखें, जिनमें से कई mlx-community प्रकाशित करता है, या GGUF फ़ाइलें। LM Studio और Ollama आपके लिए खोज और डाउनलोड कर सकते हैं।

किस साइज़ का मॉडल डाउनलोड करूँ?

ऐसा मॉडल जिसके वेट आपके Mac की मेमोरी में आराम से फ़िट हों: 4-bit पर हर अरब पैरामीटर पर करीब 0.56 GB, यानी 8B मॉडल के लिए करीब 4.5 GB और 70B के लिए 39 GB, साथ में कॉन्टेक्स्ट के लिए जगह। mlx.app पर Compare आपके Mac के लिए यह जाँचता है।

Mac पर MLX या GGUF?

दोनों Apple Silicon पर अच्छे चलते हैं। MLX बिल्ड Apple के MLX के लिए बने हैं और mlx-lm, LM Studio और MLX Harness में चलते हैं; GGUF फ़ाइलें llama.cpp, Ollama और LM Studio में चलती हैं।

क्या मुझे Hugging Face अकाउंट चाहिए?

सार्वजनिक मॉडल के लिए नहीं। गेटेड मॉडल के लिए मुफ़्त अकाउंट, स्वीकार किया गया लाइसेंस और एक्सेस टोकन चाहिए।

क्या डाउनलोड किए मॉडल ऑफ़लाइन चला सकते हैं?

हाँ। फ़ाइलें आपके Mac पर आ जाने के बाद मॉडल इंटरनेट के बिना चलता है और आपके प्रॉम्प्ट Mac पर ही रहते हैं।