आपका AI सर्वर, एक Mac mini।

1Mac mini ही क्यों

लैंग्वेज मॉडल से टेक्स्ट लिखने की स्पीड इस पर टिकी है कि वेट मेमोरी से कितनी तेज़ी से पढ़े जा सकते हैं। Mac पर GPU यूनिफ़ाइड मेमोरी सीधे पढ़ता है, इसलिए 64 GB वाला Mac mini ऐसे मॉडल रख सकता है जो कंज़्यूमर ग्राफ़िक्स कार्ड में नहीं आते, और आइडल पर कुछ ही वॉट लेता है। यह कम जगह लेता है और macOS चलाता है, इसलिए वही टूल काम करते हैं जो MacBook पर।

इसकी सीमाएँ मेमोरी और बैंडविड्थ हैं। सबसे बड़े Mac mini में 307 GB/s पर 64 GB है; ऊँची प्रिसिज़न पर 70B-श्रेणी के मॉडल या सबसे बड़े ओपन मॉडल के लिए अगला क़दम 512 GB तक वाला Mac Studio है (Apple)। देखें लोकल LLM के लिए सबसे अच्छा Mac।

2कौन-सा Mac mini, किन मॉडल के लिए

बैंडविड्थ स्पीड तय करती है: M5 Pro, 24 या 32 GB वाले M6 से लगभग 80% तेज़ मेमोरी पढ़ता है, इसलिए वही मॉडल उस पर लगभग 80% तक तेज़ लिख सकता है। हर पंक्ति उस Mac पर अच्छे से चलने वाले हर मॉडल से, स्पीड के साथ, लिंक है। M4 और M4 Pro वाले पुराने Mac mini भी इसी तरह काम करते हैं: Mac mini M4 Pro।

एजेंट और लंबे दस्तावेज़ों को मॉडल के ऊपर कॉन्टेक्स्ट की मेमोरी चाहिए। अगर AI एजेंट ही मुख्य काम है, तो तेज़ चिप के बजाय ज़्यादा मेमोरी चुनें।

3इसे जगाए और पहुँच में रखें

Mac mini पर System Settings › Energy खोलें (Apple):

• Prevent automatic sleeping when the display is off: चालू, ताकि बिना स्क्रीन के भी सर्वर जवाब देता रहे।
• Start up automatically after a power failure: चालू, ताकि बिजली लौटने पर यह अपने-आप चालू हो जाए।
• Wake for network access: चालू, अगर आप इसे स्लीप होने देते हैं।
• Low Power Mode: Apple इसे सर्वर जैसे हमेशा चालू रहने वाले कंप्यूटरों के लिए सुझाता है, ताकि बिजली और पंखे का शोर कम हो।

बिना स्क्रीन के संभालने के लिए System Settings › General › Sharing में Remote Login (SSH) या Screen Sharing चालू करें (Apple)। सर्वर ऐप को लॉगिन पर खुलने के लिए सेट करें, ताकि रीस्टार्ट के बाद सब कुछ वापस चालू हो जाए।

4अपने दूसरे डिवाइस को मॉडल दें

इनमें से हर टूल Mac mini पर मॉडल चलाता है और आपके दूसरे ऐप्स को OpenAI के API वाले फ़ॉर्मेट में API देता है, जिसे ज़्यादातर चैट ऐप, कोडिंग टूल और एजेंट स्वीकार करते हैं:

उदाहरण के लिए mlx-lm के साथ:

pip install mlx-lm
mlx_lm.server --model mlx-community/Qwen3-8B-4bit --host 0.0.0.0 --port 8080

# from another computer on the same network
curl http://<mac-mini-name>.local:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Hello"}]}'

Ollama डिफ़ॉल्ट रूप से 5 मिनट तक कोई रिक्वेस्ट न आने पर मॉडल को मेमोरी से हटा देता है; सर्वर पर उसे मेमोरी में रखने के लिए OLLAMA_KEEP_ALIVE सेट करें (Ollama)। Mac पर LLM चलाने के सबसे अच्छे ऐप्स में इन टूल की विस्तार से तुलना है।

AI App Store में ये टूल और मॉडल लोकल चलाने वाले दूसरे ऐप्स हैं, हर एक के साथ बनाने वाले का आधिकारिक डाउनलोड, लाइसेंस और आपका डेटा कहाँ जाता है।

5इस पर AI एजेंट चलाना

आजकल बहुत-से Mac mini ऐसे AI एजेंट चलाते हैं जो दिन-रात चैट ऐप, फ़ाइलों और वेब पर काम करते हैं। उदाहरण के लिए OpenClaw एक ओपन-सोर्स असिस्टेंट है जो आपके अपने कंप्यूटर पर चलता है, और जिसमें मॉडल, लोकल मॉडल भी, प्लगइन हैं जिन्हें आप बदल सकते हैं (OpenClaw)। ऐसे एजेंट को लोकल सर्वर का पता दें, और वह क्लाउड API के बजाय आपके Mac mini का मॉडल इस्तेमाल करेगा।

एजेंट के लिए दो चीज़ें चैट से ज़्यादा मायने रखती हैं। कॉन्टेक्स्ट: एजेंट टूल के विवरण और इतिहास के साथ लंबे प्रॉम्प्ट भेजते हैं, जो मॉडल के ऊपर मेमोरी लेते हैं (क्यों, यहाँ देखें)। और मॉडल की क्वालिटी: आपके Mac mini पर अच्छे से चलने वाला सबसे बड़ा मॉडल छोटे मॉडल से ज़्यादा भरोसे के साथ निर्देश मानेगा और टूल कॉल करेगा।

6इसे निजी रखें

• जब तक आप न बदलें, ये सर्वर सिर्फ़ उसी Mac पर सुनते हैं। इन्हें सिर्फ़ अपने घर या ऑफ़िस के नेटवर्क के लिए खोलें, और तभी जब आप उस पर मौजूद डिवाइस पर भरोसा करते हों।
• mlx-lm के अपने दस्तावेज़ कहते हैं कि इसका सर्वर प्रोडक्शन के लिए सुझाया नहीं जाता, क्योंकि यह सिर्फ़ बुनियादी सुरक्षा जाँच करता है (mlx-lm)।
• इंटरनेट के लिए पोर्ट फ़ॉरवर्ड न करें। बाहर से Mac mini तक पहुँचने के लिए VPN जैसा निजी नेटवर्क इस्तेमाल करें।
• जो एजेंट कमांड चला सकता है या मैसेज भेज सकता है, वह आपके अकाउंट से काम करता है: उसे सिर्फ़ उतनी ही पहुँच दें जितनी ज़रूरी है।

7इसका खर्च, और इसके खाली घंटे

घर का सर्वर दिन का ज़्यादातर समय इंतज़ार में बिताता है। MLX Node इन घंटों का इस्तेमाल कर सकता है: यह आपकी तय सीमाओं में, जिनमें यह भी शामिल है कि कोई जॉब कितनी मेमोरी ले सकता है, MLX Network के लिए AI जॉब चलाता है और मुफ़्त सीट पर दिन में 1 MLX तक MLX टोकन कमाता है। जब Mac mini पूरी स्पीड पर चाहिए, तो इसे रोक दें, या इसे तभी शुरू होने दें जब Mac कुछ देर से खाली हो। कमाई नेटवर्क पर निर्भर है और गारंटीड नहीं है: जोखिम पढ़ें।

8सवाल

क्या Mac mini AI के लिए अच्छा है?

मॉडल लोकल चलाने के लिए, हाँ: इसका GPU यूनिफ़ाइड मेमोरी सीधे पढ़ता है, इसलिए 64 GB वाला M5 Pro 4-bit पर लगभग 85B पैरामीटर तक के मॉडल रखता है, और आइडल पर कुछ ही वॉट लेता है। ट्रेनिंग या सबसे बड़े मॉडल के लिए Mac Studio या GPU सर्वर बेहतर है।

लोकल LLM सर्वर के लिए कौन-सा Mac mini ख़रीदूँ?

जितनी ज़्यादा मेमोरी ले सकें: मेमोरी तय करती है कि कौन-से मॉडल आएँगे, और बाद में बढ़ाई नहीं जा सकती। M5 Pro, 24 या 32 GB वाले M6 से लगभग 80% तेज़ मेमोरी भी पढ़ता है, इसलिए तेज़ लिखता है। हर कॉन्फ़िगरेशन की तुलना Mac mini M5 Pro और Mac mini M6 पर करें।

क्या Mac mini 70B मॉडल चला सकता है?

सिर्फ़ 64 GB वाला M5 Pro, 4-bit पर और छोटे कॉन्टेक्स्ट के साथ: वेट उन 48 GB में से लगभग 39 GB लेते हैं जो GPU डिफ़ॉल्ट रूप से इस्तेमाल कर सकता है। यह धीरे लिखता है, कुछ टोकन प्रति सेकंड। देखें Mac पर Llama 3.3 70B।

अपने लैपटॉप या फ़ोन से Mac mini का मॉडल कैसे इस्तेमाल करूँ?

सर्वर को ऐसे शुरू करें कि वह आपके नेटवर्क पर सुने (जैसे mlx_lm.server --host 0.0.0.0), फिर दूसरे डिवाइस के ऐप में http://<mac-mini-name>.local:8080/v1 को OpenAI-संगत endpoint के रूप में डालें।

Mac mini AI सर्वर कितनी बिजली लेता है?

M6 Mac mini आइडल पर लगभग 4 W और अधिकतम 70 W लेता है; M5 Pro 6 W से 145 W। दिन भर पूरी रफ़्तार पर, यह ज़्यादा से ज़्यादा 1.68 या 3.48 kWh है (Apple)।