अपने Mac पर LLM चलाएँ।

1आपके Mac पर क्या फ़िट होगा

मॉडल के वेट मेमोरी में फ़िट होने चाहिए, और कॉन्टेक्स्ट और macOS के लिए जगह भी बचनी चाहिए। 4 बिट प्रति वेट पर, हर एक अरब पैरामीटर के लिए लगभग 0.55 से 0.6 GB मानकर चलें।

स्पीड अलग सवाल है: हर नए टोकन के लिए सक्रिय वेट एक बार मेमोरी से पढ़ने पड़ते हैं, इसलिए टोकन प्रति सेकंड मेमोरी बैंडविड्थ के साथ बढ़ते हैं। लोकल LLM के लिए सबसे अच्छा Mac वाली हमारी गाइड में हर चिप है।

2आसान तरीका: LM Studio

LM Studio एक मुफ़्त Mac ऐप है, जिसमें चैट विंडो और मॉडल ब्राउज़र है। Apple Silicon पर यह Apple के MLX फ़ॉर्मेट वाले मॉडल भी चला सकता है और llama.cpp में इस्तेमाल होने वाले GGUF फ़ॉर्मेट वाले भी।

1. LM Studio डाउनलोड करें और खोलें।
2. कोई मॉडल खोजें, Apple Silicon पर उसका MLX वर्ज़न चुनें, और ऐसा साइज़ लें जो आपकी मेमोरी में फ़िट हो।
3. उसे लोड करें और चैट शुरू करें। दूसरे ऐप्स के लिए आप इसका लोकल सर्वर भी चालू कर सकते हैं।

3एक कमांड: Ollama

Ollama टर्मिनल से मॉडल चलाता है और उन्हें आपके Mac के दूसरे ऐप्स के लिए उपलब्ध कराता है। इंस्टॉल करने के बाद, एक कमांड मॉडल डाउनलोड करके चालू कर देती है:

ollama run llama3.2

वर्ज़न 0.19 से, Apple Silicon पर Ollama में सपोर्टेड मॉडल के लिए Apple के MLX फ़्रेमवर्क पर चलने वाला एक प्रीव्यू है, जिससे स्पीड काफ़ी बढ़ती है; इस प्रीव्यू के लिए 32 GB से ज़्यादा मेमोरी वाला Mac चाहिए (Ollama)।

4सबसे तेज़ तरीका: Apple का MLX और mlx-lm

MLX Apple Silicon के लिए Apple का ओपन-सोर्स मशीन लर्निंग फ़्रेमवर्क है, और mlx-lm लैंग्वेज मॉडल के लिए उसका पैकेज। Hugging Face पर mlx-community ऑर्गनाइज़ेशन में हज़ारों मॉडल इस्तेमाल के लिए तैयार हैं।

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

टर्मिनल में बातचीत के लिए mlx_lm.chat इस्तेमाल करें, और ऐसी लोकल API के लिए mlx_lm.server, जिसे दूसरे ऐप कॉल कर सकें। M5 चिप पर MLX, GPU में मौजूद नए न्यूरल एक्सेलरेटर का इस्तेमाल करता है: Apple ने मापा कि पहला टोकन M4 के मुकाबले 3.3 से 4.1 गुना जल्दी आता है (Apple Machine Learning Research)।

5मापें, फिर काम पर लगाएँ

MLX Bench हर Apple Silicon चिप पर MLX की स्पीड का ओपन लीडरबोर्ड है: जनरेशन और प्रॉम्प्ट के टोकन प्रति सेकंड और पीक मेमोरी। अपने Mac पर एक फ़ाइल वाली स्क्रिप्ट चलाएँ और देखें कि वह किस नंबर पर आता है।

जब आप अपना Mac इस्तेमाल नहीं कर रहे होते, तब वह दूसरों के लिए AI चला सकता है। MLX Node एक मुफ़्त ऐप है जो उसी MLX फ़्रेमवर्क पर MLX Network के लिए AI जॉब चलाता है और सत्यापित काम के लिए MLX टोकन कमाता है, आपकी तय की गई सीमाओं के भीतर।

6सवाल

क्या MacBook Air पर LLM चल सकता है?

हाँ। 16 GB वाला MacBook Air 4-बिट पर 7B से 14B मॉडल आराम से चलाता है; 32 GB के साथ लगभग 30B तक के मॉडल। यह Pro या Max चिप वाले Mac से धीमा होगा, जिसकी मेमोरी बैंडविड्थ ज़्यादा होती है।

क्या Mac पर MLX, Ollama से तेज़ है?

अक्सर, क्योंकि MLX खास Apple Silicon के लिए लिखा गया है। Ollama का अपना MLX वाला प्रीव्यू भी Apple Silicon पर काफ़ी तेज़ी बताता है। हमारी MLX vs Ollama गाइड इनकी विस्तार से तुलना करती है।

क्या लोकल मॉडल ऑफ़लाइन चलते हैं?

हाँ। डाउनलोड होने के बाद मॉडल पूरी तरह आपके Mac पर चलता है और आपके प्रॉम्प्ट कभी उससे बाहर नहीं जाते।

70B मॉडल के लिए कितनी मेमोरी चाहिए?

4-बिट पर वेट के लिए लगभग 40 GB, यानी 64 GB या उससे ज़्यादा मेमोरी वाला Mac। मिलती-जुलती क्वालिटी वाले mixture-of-experts मॉडल को ज़्यादा मेमोरी चाहिए हो सकती है, पर वे तेज़ चलते हैं।