तुमचा AI सर्व्हर म्हणून Mac mini.

1Mac mini का

लँग्वेज मॉडेलने मजकूर लिहिणे, वेट मेमरीतून किती वेगाने वाचता येतात यावर मर्यादित असते. Mac वर GPU युनिफाइड मेमरी थेट वाचतो, म्हणून 64 GB चा Mac mini ग्राहक ग्राफिक्स कार्डवर न बसणारी मॉडेल सामावू शकतो, आणि निष्क्रिय असताना काही वॉटमध्ये. तो कमी जागा घेतो आणि macOS चालवतो, त्यामुळे MacBook वरची तीच टूल्स त्यावर चालतात.

त्याच्या मर्यादा म्हणजे मेमरी आणि बँडविड्थ. सर्वात मोठ्या Mac mini मध्ये 307 GB/s वेगाने 64 GB आहेत; जास्त प्रिसिजनवरील 70B वर्गाच्या मॉडेलसाठी किंवा सर्वात मोठ्या ओपन मॉडेलसाठी, 512 GB पर्यंतचा Mac Studio हे पुढचे पाऊल आहे (Apple). लोकल LLM साठी सर्वोत्तम Mac पाहा.

2कोणत्या मॉडेलसाठी कोणता Mac mini

वेग बँडविड्थ ठरवते: 24 किंवा 32 GB च्या M6 पेक्षा M5 Pro मेमरी सुमारे 80% वेगाने वाचतो, म्हणून तेच मॉडेल त्यावर सुमारे 80% पर्यंत वेगाने लिहू शकते. प्रत्येक ओळ त्या Mac वर चांगल्या चालणाऱ्या प्रत्येक मॉडेलशी, वेगासह, जोडलेली आहे. M4 आणि M4 Pro असलेले आधीचे Mac mini याच पद्धतीने काम करतात: Mac mini M4 Pro.

एजंट आणि लांब दस्तऐवजांना मॉडेलव्यतिरिक्त कॉन्टेक्स्टसाठी मेमरी लागते. AI एजंट हेच मुख्य काम असेल, तर वेगवान चिपपेक्षा जास्त मेमरी निवडा.

3तो जागा आणि पोहोचण्याजोगा ठेवा

Mac mini वर System Settings › Energy उघडा (Apple):

• Prevent automatic sleeping when the display is off: चालू, म्हणजे स्क्रीन जोडलेली नसतानाही सर्व्हर उत्तरे देत राहील.
• Start up automatically after a power failure: चालू, म्हणजे तो आपोआप परत सुरू होईल.
• Wake for network access: चालू, जर तुम्ही त्याला स्लीप होऊ देत असाल तर.
• Low Power Mode: सतत चालू असणाऱ्या कॉम्प्युटरसाठी, जसे सर्व्हर, ऊर्जा वापर आणि पंख्याचा आवाज कमी करण्यासाठी Apple हे सुचवते.

स्क्रीनशिवाय तो सांभाळण्यासाठी, System Settings › General › Sharing मध्ये Remote Login (SSH) किंवा Screen Sharing चालू करा (Apple). सर्व्हर ॲप लॉगिनवेळी उघडेल असे सेट करा, म्हणजे रीस्टार्टनंतर सगळे परत सुरू होईल.

4तुमच्या इतर डिव्हाइसना मॉडेल द्या

यातील प्रत्येक टूल Mac mini वर मॉडेल चालवते आणि तुमच्या इतर ॲप्सना OpenAI च्या API च्या फॉरमॅटमध्ये API देते, जो बहुतेक चॅट ॲप्स, कोडिंग टूल्स आणि एजंट स्वीकारतात:

उदाहरणार्थ, mlx-lm सोबत:

pip install mlx-lm
mlx_lm.server --model mlx-community/Qwen3-8B-4bit --host 0.0.0.0 --port 8080

# from another computer on the same network
curl http://<mac-mini-name>.local:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Hello"}]}'

Ollama डीफॉल्टने 5 मिनिटे विनंती न आल्यास मॉडेल मेमरीतून काढते; सर्व्हरवर ते मेमरीत ठेवण्यासाठी OLLAMA_KEEP_ALIVE सेट करा (Ollama). Mac वर LLM चालवण्यासाठी सर्वोत्तम ॲप्स या टूल्सची सविस्तर तुलना करते.

AI App Store मध्ये ही टूल्स आणि मॉडेल्स लोकल चालवणारे इतर ॲप्स आहेत, प्रत्येकासोबत बनवणाऱ्याचा अधिकृत डाउनलोड, परवाना आणि तुमचा डेटा कुठे जातो.

5त्यावर AI एजंट चालवणे

आता अनेक Mac mini चॅट ॲप्स, फाइल्स आणि वेबवरून चोवीस तास काम करणारे AI एजंट चालवतात. उदाहरणार्थ, OpenClaw हा तुमच्या स्वतःच्या कॉम्प्युटरवर चालणारा ओपन सोर्स असिस्टंट आहे, ज्यात मॉडेल, लोकल मॉडेलसह, बदलता येणारे प्लगइन आहेत (OpenClaw). अशा एजंटला लोकल सर्व्हरचा पत्ता द्या, म्हणजे तो क्लाउड API ऐवजी तुमच्या Mac mini वरचे मॉडेल वापरेल.

एजंटसाठी चॅटपेक्षा दोन गोष्टी जास्त महत्त्वाच्या आहेत. कॉन्टेक्स्ट: एजंट टूल्सचे वर्णन आणि इतिहासासह लांब प्रॉम्प्ट पाठवतात, ज्याला मॉडेलव्यतिरिक्त मेमरी लागते (का ते पाहा). आणि मॉडेलची गुणवत्ता: तुमच्या Mac mini वर चांगले चालणारे सर्वात मोठे मॉडेल लहान मॉडेलपेक्षा सूचना जास्त विश्वासार्हपणे पाळेल आणि टूल्स वापरेल.

6तो खाजगी ठेवा

• तुम्ही बदल करेपर्यंत हे सर्व्हर फक्त त्याच Mac वर ऐकतात. त्यांना फक्त तुमच्या घरच्या किंवा ऑफिसच्या नेटवर्कसाठी उघडा, आणि तेही त्यावरील डिव्हाइसवर विश्वास असेल तरच.
• mlx-lm चे स्वतःचे दस्तऐवज सांगतात की त्याचा सर्व्हर प्रोडक्शनसाठी शिफारस केलेला नाही, कारण तो फक्त बेसिक सुरक्षा तपासण्या करतो (mlx-lm).
• इंटरनेटसाठी पोर्ट फॉरवर्ड करू नका. बाहेरून Mac mini पर्यंत पोहोचण्यासाठी VPN सारखे खाजगी नेटवर्क वापरा.
• कमांड चालवू शकणारा किंवा मेसेज पाठवू शकणारा एजंट तुमच्या अकाउंटने काम करतो: त्याला फक्त गरजेपुरताच ॲक्सेस द्या.

7खर्च किती, आणि त्याचे रिकामे तास

घरचा सर्व्हर दिवसाचा बहुतेक वेळ वाट पाहत घालवतो. MLX Node ते तास वापरू शकते: ते तुम्ही ठरवलेल्या मर्यादांमध्ये, एखादे काम किती मेमरी घेऊ शकते यासह, MLX Network साठी AI जॉब चालवते आणि मोफत सीटवर दिवसाला 1 MLX पर्यंत MLX Tokens कमावते. Mac mini पूर्ण वेगाने हवा असेल तेव्हा ते थांबवा, किंवा Mac निष्क्रिय झाल्यावरच ते सुरू होऊ द्या. कमाई नेटवर्कवर अवलंबून असते आणि हमी नाही: जोखीम वाचा.

8प्रश्न

AI साठी Mac mini चांगला आहे का?

मॉडेल लोकल चालवण्यासाठी, हो: त्याचा GPU युनिफाइड मेमरी थेट वाचतो, म्हणून 64 GB चा M5 Pro 4-बिटवर सुमारे 85B पॅरामीटरपर्यंतची मॉडेल सामावतो, आणि निष्क्रिय असताना काही वॉटमध्ये. ट्रेनिंगसाठी किंवा सर्वात मोठ्या मॉडेलसाठी Mac Studio किंवा GPU सर्व्हर हे चांगले साधन आहे.

लोकल LLM सर्व्हरसाठी कोणता Mac mini घ्यावा?

शक्य तितकी जास्त मेमरी: कोणती मॉडेल बसतील हे मेमरी ठरवते आणि ती नंतर वाढवता येत नाही. 24 किंवा 32 GB च्या M6 पेक्षा M5 Pro मेमरी सुमारे 80% वेगाने वाचतो, म्हणून तो वेगाने लिहितो. प्रत्येक कॉन्फिगरेशनची तुलना Mac mini M5 Pro आणि Mac mini M6 वर करा.

Mac mini 70B मॉडेल चालवू शकतो का?

फक्त 64 GB चा M5 Pro, 4-बिटवर आणि लहान कॉन्टेक्स्टसह: GPU डीफॉल्टने वापरू शकणाऱ्या 48 GB पैकी वेट सुमारे 39 GB घेतात. तो हळू लिहितो, सेकंदाला काही टोकन. Mac वर Llama 3.3 70B पाहा.

माझ्या लॅपटॉप किंवा फोनवरून Mac mini चे मॉडेल कसे वापरायचे?

सर्व्हर तुमच्या नेटवर्कवर ऐकेल असा सुरू करा (उदाहरणार्थ mlx_lm.server --host 0.0.0.0), मग दुसऱ्या डिव्हाइसवरील ॲपला http://<mac-mini-name>.local:8080/v1 हा OpenAI-सुसंगत एंडपॉइंट म्हणून द्या.

Mac mini AI सर्व्हर किती वीज वापरतो?

M6 Mac mini निष्क्रिय असताना सुमारे 4 W आणि 70 W पर्यंत वापरतो; M5 Pro 6 W ते 145 W. दिवसभर पूर्ण वेगाने, ते जास्तीत जास्त 1.68 किंवा 3.48 kWh होते (Apple).