તમારું AI સર્વર, એક Mac mini.

1Mac mini જ કેમ

લેંગ્વેજ મૉડલથી ટેક્સ્ટ લખવાની ઝડપ મેમરીમાંથી વેઇટ કેટલા ઝડપથી વંચાય તેનાથી મર્યાદિત થાય છે. Mac પર GPU યુનિફાઇડ મેમરી સીધી વાંચે છે, એટલે 64 GBવાળું Mac mini એવાં મૉડલ રાખી શકે છે જે કન્ઝ્યુમર ગ્રાફિક્સ કાર્ડમાં ન સમાય, અને નિષ્ક્રિય હોય ત્યારે થોડા જ વૉટ વાપરે છે. તે ઓછી જગ્યા લે છે અને macOS ચલાવે છે, એટલે MacBook પરનાં જ ટૂલ તેના પર કામ કરે છે.

તેની મર્યાદા મેમરી અને બૅન્ડવિડ્થ છે. સૌથી મોટા Mac miniમાં 307 GB/s પર 64 GB છે; વધુ પ્રિસિઝન પર 70B શ્રેણીનાં મૉડલ કે સૌથી મોટાં ઓપન મૉડલ માટે 512 GB સુધીનું Mac Studio આગલું પગલું છે (Apple). લોકલ LLM માટે શ્રેષ્ઠ Mac જુઓ.

2કયાં મૉડલ માટે કયું Mac mini

બૅન્ડવિડ્થ ઝડપ નક્કી કરે છે: M5 Pro 24 કે 32 GBવાળા M6 કરતાં આશરે 80% ઝડપથી મેમરી વાંચે છે, એટલે એ જ મૉડલ તેના પર આશરે 80% સુધી ઝડપથી લખી શકે. દરેક હરોળ એ Mac પર સારી રીતે ચાલતાં દરેક મૉડલની લિંક ઝડપ સાથે આપે છે. M4 અને M4 Proવાળાં અગાઉનાં Mac mini પણ આ જ રીતે કામ કરે છે: Mac mini M4 Pro.

એજન્ટ અને લાંબા દસ્તાવેજોને મૉડલ ઉપરાંત કૉન્ટેક્સ્ટ માટે મેમરી જોઈએ. AI એજન્ટ મુખ્ય કામ હોય તો ઝડપી ચિપ કરતાં વધુ મેમરી પસંદ કરો.

3તેને જાગતું અને પહોંચમાં રાખો

Mac mini પર System Settings › Energy ખોલો (Apple):

• Prevent automatic sleeping when the display is off: ચાલુ, જેથી સ્ક્રીન જોડી ન હોય ત્યારે પણ સર્વર જવાબ આપતું રહે.
• Start up automatically after a power failure: ચાલુ, જેથી તે જાતે પાછું શરૂ થાય.
• Wake for network access: ચાલુ, જો તમે તેને સ્લીપ થવા દો.
• Low Power Mode: Apple તેને સર્વર જેવાં હંમેશાં ચાલુ રહેતાં કમ્પ્યુટર માટે સૂચવે છે, જેથી ઊર્જા વપરાશ અને પંખાનો અવાજ ઘટે.

સ્ક્રીન વગર તેને સંભાળવા, System Settings › General › Sharingમાં Remote Login (SSH) કે Screen Sharing ચાલુ કરો (Apple). સર્વર ઍપને લૉગિન વખતે ખૂલે તેમ સેટ કરો, જેથી રીસ્ટાર્ટ પછી બધું પાછું ચાલુ થાય.

4તમારાં બીજાં ડિવાઇસને મૉડલ આપો

આમાંનું દરેક Mac mini પર મૉડલ ચલાવે છે અને તમારી બીજી ઍપને OpenAIના API જેવા ફૉર્મેટમાં API આપે છે, જે મોટા ભાગની ચૅટ ઍપ, કોડિંગ ટૂલ અને એજન્ટ સ્વીકારે છે:

ઉદાહરણ તરીકે mlx-lm સાથે:

pip install mlx-lm
mlx_lm.server --model mlx-community/Qwen3-8B-4bit --host 0.0.0.0 --port 8080

# from another computer on the same network
curl http://<mac-mini-name>.local:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Hello"}]}'

Ollama ડિફૉલ્ટ રીતે 5 મિનિટ સુધી કોઈ વિનંતી ન આવે તો મૉડલને મેમરીમાંથી કાઢી નાખે છે; સર્વર પર તેને મેમરીમાં રાખવા OLLAMA_KEEP_ALIVE સેટ કરો (Ollama). Mac પર LLM ચલાવવા માટેની શ્રેષ્ઠ ઍપ આ ટૂલની વિગતવાર સરખામણી કરે છે.

AI App Store માં આ ટૂલ્સ અને મૉડલ લોકલ ચલાવતી બીજી ઍપ્સ છે, દરેક સાથે બનાવનારનું સત્તાવાર ડાઉનલોડ, લાયસન્સ અને તમારો ડેટા ક્યાં જાય છે.

5તેના પર AI એજન્ટ ચલાવો

હવે ઘણાં Mac mini ચોવીસે કલાક ચૅટ ઍપ, ફાઇલો અને વેબ પર કામ કરતા AI એજન્ટ ચલાવે છે. ઉદાહરણ તરીકે OpenClaw એક ઓપન સોર્સ આસિસ્ટન્ટ છે જે તમારા પોતાના કમ્પ્યુટર પર ચાલે છે, અને તેમાં લોકલ સહિતનાં મૉડલ બદલી શકાય તેવા પ્લગઇન છે (OpenClaw). આવા એજન્ટને લોકલ સર્વરનું સરનામું આપો, એટલે તે ક્લાઉડ APIને બદલે તમારા Mac mini પરનું મૉડલ વાપરશે.

ચૅટ કરતાં એજન્ટ માટે બે બાબતો વધુ મહત્ત્વની છે. કૉન્ટેક્સ્ટ: એજન્ટ ટૂલનાં વર્ણનો અને ઇતિહાસ સાથે લાંબા પ્રૉમ્પ્ટ મોકલે છે, જે મૉડલ ઉપરાંત મેમરી લે છે (કેમ, તે જુઓ). અને મૉડલની ગુણવત્તા: તમારા Mac mini પર સારી રીતે ચાલતું સૌથી મોટું મૉડલ નાના મૉડલ કરતાં સૂચનાઓ વધુ સારી રીતે પાળશે અને ટૂલ વધુ ભરોસાપાત્ર રીતે વાપરશે.

6તેને ખાનગી રાખો

• તમે બદલો નહીં ત્યાં સુધી આ સર્વર ફક્ત Mac પર જ સાંભળે છે. તેને ફક્ત તમારા ઘર કે ઑફિસના નેટવર્ક માટે ખોલો, અને તે પણ ત્યારે જ જ્યારે તેના પરનાં ડિવાઇસ પર તમને ભરોસો હોય.
• mlx-lmના પોતાના દસ્તાવેજો કહે છે કે તેનું સર્વર પ્રોડક્શન માટે ભલામણ કરેલું નથી, કારણ કે તે ફક્ત બેઝિક સુરક્ષા ચકાસણી કરે છે (mlx-lm).
• ઇન્ટરનેટ માટે પોર્ટ ફૉરવર્ડ ન કરો. બહારથી Mac mini સુધી પહોંચવા VPN જેવું ખાનગી નેટવર્ક વાપરો.
• કમાન્ડ ચલાવી શકતો કે મેસેજ મોકલી શકતો એજન્ટ તમારાં એકાઉન્ટ વડે કામ કરે છે: તેને ફક્ત જરૂરી ઍક્સેસ જ આપો.

7તેનો ખર્ચ, અને નવરાશના કલાકો

ઘરનું સર્વર દિવસનો મોટો ભાગ રાહ જોવામાં વિતાવે છે. MLX Node એ કલાકોનો ઉપયોગ કરી શકે છે: તે તમે નક્કી કરેલી મર્યાદાઓમાં, જેમાં એક જૉબ કેટલી મેમરી લઈ શકે તે પણ સામેલ છે, MLX Network માટે AI જૉબ ચલાવે છે અને મફત સીટ પર દિવસના 1 MLX સુધી MLX ટોકન કમાય છે. Mac mini પૂરી ઝડપે જોઈએ ત્યારે તેને થોભાવો, કે Mac નવરું પડે પછી જ શરૂ થવા દો. કમાણી નેટવર્ક પર આધાર રાખે છે અને તેની ગૅરંટી નથી: જોખમો વાંચો.

8પ્રશ્નો

શું Mac mini AI માટે સારું છે?

મૉડલ લોકલી ચલાવવા માટે, હા: તેનું GPU યુનિફાઇડ મેમરી સીધી વાંચે છે, એટલે 64 GBવાળું M5 Pro 4-bit પર આશરે 85B પૅરામીટર સુધીનાં મૉડલ રાખે છે, અને નિષ્ક્રિય હોય ત્યારે થોડા જ વૉટ વાપરે છે. ટ્રેનિંગ કે સૌથી મોટાં મૉડલ માટે Mac Studio કે GPU સર્વર વધુ સારું સાધન છે.

લોકલ LLM સર્વર માટે કયું Mac mini ખરીદવું?

શક્ય હોય તેટલી વધુ મેમરીવાળું: કયાં મૉડલ સમાય તે મેમરી નક્કી કરે છે અને પછીથી તે અપગ્રેડ થઈ શકતી નથી. M5 Pro 24 કે 32 GBવાળા M6 કરતાં આશરે 80% ઝડપથી મેમરી પણ વાંચે છે, એટલે તે ઝડપથી લખે છે. દરેક કૉન્ફિગરેશનની સરખામણી Mac mini M5 Pro અને Mac mini M6 પર કરો.

શું Mac mini 70B મૉડલ ચલાવી શકે?

ફક્ત 64 GBવાળું M5 Pro, 4-bit પર અને ટૂંકા કૉન્ટેક્સ્ટ સાથે: GPU ડિફૉલ્ટ રીતે વાપરી શકે તે 48 GBમાંથી વેઇટ આશરે 39 GB લે છે. તે ધીમે લખે છે, પ્રતિ સેકન્ડ થોડા ટોકન. Mac પર Llama 3.3 70B જુઓ.

મારા લૅપટૉપ કે ફોનથી Mac miniનું મૉડલ કેવી રીતે વાપરવું?

સર્વરને તમારા નેટવર્ક પર સાંભળે તેમ શરૂ કરો (ઉદાહરણ તરીકે mlx_lm.server --host 0.0.0.0), પછી બીજા ડિવાઇસ પરની ઍપને OpenAI-સુસંગત એન્ડપૉઇન્ટ તરીકે http://<mac-mini-name>.local:8080/v1 આપો.

Mac mini AI સર્વર કેટલી વીજળી વાપરે છે?

M6 Mac mini નિષ્ક્રિય હોય ત્યારે આશરે 4 W અને મહત્તમ 70 W વાપરે છે; M5 Pro 6 W થી 145 W. આખો દિવસ પૂરા લોડ પર, તે વધુમાં વધુ 1.68 કે 3.48 kWh થાય (Apple).