మీ AI సర్వర్‌గా Mac mini.

1Mac mini ఎందుకు

లాంగ్వేజ్ మోడల్‌తో టెక్స్ట్ రాయడాన్ని పరిమితం చేసేది వెయిట్‌లను మెమరీ నుంచి ఎంత వేగంగా చదవగలమనేదే. Macపై GPU యూనిఫైడ్ మెమరీని నేరుగా చదువుతుంది, కాబట్టి 64 GB ఉన్న Mac mini కన్స్యూమర్ గ్రాఫిక్స్ కార్డ్‌లో సరిపోని మోడల్‌లను పట్టుకోగలదు, ఐడిల్‌లో కొన్ని వాట్లతోనే. ఇది తక్కువ చోటు తీసుకుంటుంది, macOSపై నడుస్తుంది, కాబట్టి MacBookపై పనిచేసే టూల్స్ ఇక్కడా పనిచేస్తాయి.

దాని పరిమితులు మెమరీ, బ్యాండ్‌విడ్త్. అతిపెద్ద Mac miniలో 307 GB/s వేగంతో 64 GB ఉంటుంది; ఎక్కువ ప్రెసిషన్‌లో 70B తరగతి మోడల్‌లకు లేదా అతిపెద్ద ఓపెన్ మోడల్‌లకు, 512 GB వరకు ఉండే Mac Studio తర్వాతి మెట్టు (Apple). లోకల్ LLMలకు ఉత్తమ Mac చూడండి.

2ఏ మోడల్‌లకు ఏ Mac mini

వేగాన్ని బ్యాండ్‌విడ్త్ నిర్ణయిస్తుంది: 24 లేదా 32 GB ఉన్న M6 కంటే M5 Pro మెమరీని సుమారు 80% వేగంగా చదువుతుంది, కాబట్టి అదే మోడల్ దానిపై సుమారు 80% వరకు వేగంగా రాయగలదు. ప్రతి వరుస ఆ Macపై బాగా నడిచే ప్రతి మోడల్‌కు, వేగాలతో, లింక్ చేస్తుంది. M4, M4 Pro ఉన్న పాత Mac miniలు కూడా ఇదే విధంగా పనిచేస్తాయి: Mac mini M4 Pro.

ఏజెంట్‌లకు, పొడవైన డాక్యుమెంట్‌లకు మోడల్‌పై అదనంగా కాంటెక్స్ట్ మెమరీ కావాలి. AI ఏజెంటే ప్రధాన పని అయితే, వేగవంతమైన చిప్ కంటే ఎక్కువ మెమరీని ఎంచుకోండి.

3మేల్కొని, అందుబాటులో ఉంచండి

Mac miniలో System Settings › Energy తెరవండి (Apple):

• Prevent automatic sleeping when the display is off: ఆన్, అప్పుడు స్క్రీన్ లేకపోయినా సర్వర్ జవాబిస్తూనే ఉంటుంది.
• Start up automatically after a power failure: ఆన్, అప్పుడు అది తనంతట తానే తిరిగి వస్తుంది.
• Wake for network access: మీరు దాన్ని నిద్రపోనిస్తే, ఆన్.
• Low Power Mode: సర్వర్‌ల లాగా ఎప్పుడూ ఆన్‌లో ఉండే కంప్యూటర్‌లకు, కరెంటు వినియోగం, ఫ్యాన్ శబ్దం తగ్గించడానికి Apple దీన్ని సూచిస్తుంది.

స్క్రీన్ లేకుండా నిర్వహించడానికి, System Settings › General › Sharingలో Remote Login (SSH) లేదా Screen Sharing ఆన్ చేయండి (Apple). సర్వర్ యాప్‌ను లాగిన్‌లో తెరుచుకునేలా సెట్ చేయండి, అప్పుడు రీస్టార్ట్ తర్వాత అన్నీ తిరిగి వస్తాయి.

4మీ ఇతర డివైస్‌లకు మోడల్‌ను అందించండి

వీటిలో ప్రతి ఒక్కటీ Mac miniపై మోడల్‌ను నడిపి, మీ ఇతర యాప్‌లకు OpenAI API ఫార్మాట్‌లో ఒక APIని ఇస్తుంది; చాలా చాట్ యాప్‌లు, కోడింగ్ టూల్స్, ఏజెంట్‌లు దాన్ని అంగీకరిస్తాయి:

ఉదాహరణకు mlx-lmతో:

pip install mlx-lm
mlx_lm.server --model mlx-community/Qwen3-8B-4bit --host 0.0.0.0 --port 8080

# from another computer on the same network
curl http://<mac-mini-name>.local:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Hello"}]}'

Ollama డిఫాల్ట్‌గా 5 నిమిషాలు రిక్వెస్ట్‌లు లేకపోతే మోడల్‌ను అన్‌లోడ్ చేస్తుంది; సర్వర్‌పై దాన్ని మెమరీలో ఉంచడానికి OLLAMA_KEEP_ALIVE సెట్ చేయండి (Ollama). Macపై LLMలు నడపడానికి ఉత్తమ యాప్‌లు ఈ టూల్స్‌ను వివరంగా పోలుస్తుంది.

AI App Storeలో ఈ టూల్స్, మోడల్స్‌ను లోకల్‌గా నడిపే ఇతర యాప్‌లు ఉన్నాయి; ప్రతిదానికీ తయారీదారు అధికారిక డౌన్‌లోడ్, లైసెన్స్, మీ డేటా ఎక్కడికి వెళ్తుందో ఉంటాయి.

5దానిపై AI ఏజెంట్‌లను నడపడం

చాలా Mac miniలు ఇప్పుడు చాట్ యాప్‌లు, ఫైల్‌లు, వెబ్ ద్వారా రోజంతా పనిచేసే AI ఏజెంట్‌లను నడుపుతున్నాయి. ఉదాహరణకు OpenClaw మీ సొంత కంప్యూటర్‌పై నడిచే ఓపెన్ సోర్స్ అసిస్టెంట్; అందులో మోడల్‌లు, లోకల్ వాటితో సహా, మార్చుకోగలిగే ప్లగిన్‌లు (OpenClaw). అలాంటి ఏజెంట్‌కు లోకల్ సర్వర్ అడ్రస్ ఇస్తే, అది క్లౌడ్ APIకి బదులు మీ Mac miniపై ఉన్న మోడల్‌ను వాడుతుంది.

చాట్ కంటే ఏజెంట్‌లకు రెండు విషయాలు ఎక్కువ ముఖ్యం. కాంటెక్స్ట్: ఏజెంట్‌లు టూల్ వివరణలు, హిస్టరీతో పొడవైన ప్రాంప్ట్‌లు పంపుతాయి, అవి మోడల్‌పై అదనంగా మెమరీ తీసుకుంటాయి (ఎందుకో చూడండి). మోడల్ నాణ్యత: మీ Mac miniపై బాగా నడిచే అతిపెద్ద మోడల్ చిన్న మోడల్ కంటే సూచనలను, టూల్ కాల్‌లను మరింత నమ్మకంగా పాటిస్తుంది.

6దాన్ని ప్రైవేట్‌గా ఉంచండి

• మీరు మార్చే వరకు ఈ సర్వర్‌లు Mac లోపలే వింటాయి. వాటిని మీ ఇల్లు లేదా ఆఫీసు నెట్‌వర్క్‌కు మాత్రమే తెరవండి, దానిలోని డివైస్‌లను మీరు నమ్మితేనే.
• mlx-lm సర్వర్ ప్రాథమిక సెక్యూరిటీ చెక్‌లను మాత్రమే అమలు చేస్తుంది కాబట్టి ప్రొడక్షన్‌కు సిఫార్సు చేయబడదని దాని సొంత డాక్యుమెంటేషన్ చెబుతుంది (mlx-lm).
• ఇంటర్నెట్‌కు పోర్ట్ ఫార్వర్డ్ చేయవద్దు. బయటి నుంచి Mac miniని చేరుకోవడానికి VPN లాంటి ప్రైవేట్ నెట్‌వర్క్ వాడండి.
• కమాండ్‌లు నడపగల లేదా మెసేజ్‌లు పంపగల ఏజెంట్ మీ అకౌంట్‌లతో పనిచేస్తుంది: దానికి అవసరమైన యాక్సెస్ మాత్రమే ఇవ్వండి.

7ఎంత ఖర్చవుతుంది, దాని ఖాళీ గంటలు

ఇంటి సర్వర్ తన రోజులో ఎక్కువ భాగం ఎదురుచూస్తూనే గడుపుతుంది. MLX Node ఆ గంటలను వాడుకోగలదు: మీరు పెట్టిన పరిమితుల లోపల, ఒక జాబ్ ఎంత మెమరీ తీసుకోవచ్చో సహా, అది MLX Network కోసం AI జాబ్‌లు నడిపి, ఉచిత సీటుపై రోజుకు 1 MLX వరకు MLX Tokens సంపాదిస్తుంది. Mac mini పూర్తి వేగంతో కావాల్సినప్పుడు దాన్ని పాజ్ చేయండి, లేదా Mac ఖాళీగా ఉన్న తర్వాతే మొదలయ్యేలా సెట్ చేయండి. సంపాదన నెట్‌వర్క్‌పై ఆధారపడుతుంది, హామీ లేదు: రిస్క్‌లు చదవండి.

8ప్రశ్నలు

AIకి Mac mini మంచిదా?

మోడల్‌లను లోకల్‌గా నడపడానికి, అవును: దాని GPU యూనిఫైడ్ మెమరీని నేరుగా చదువుతుంది, కాబట్టి 64 GB ఉన్న M5 Pro 4-bitలో సుమారు 85B పారామీటర్‌ల వరకు మోడల్‌లను పట్టుకుంటుంది, ఐడిల్‌లో కొన్ని వాట్లతోనే. ట్రైనింగ్‌కు లేదా అతిపెద్ద మోడల్‌లకు, Mac Studio లేదా GPU సర్వర్ మెరుగైన సాధనం.

లోకల్ LLM సర్వర్ కోసం ఏ Mac mini కొనాలి?

వీలైనంత ఎక్కువ మెమరీ: ఏ మోడల్‌లు సరిపోతాయో మెమరీ నిర్ణయిస్తుంది, తర్వాత అప్‌గ్రేడ్ చేయలేరు. 24 లేదా 32 GB ఉన్న M6 కంటే M5 Pro మెమరీని సుమారు 80% వేగంగా చదువుతుంది, కాబట్టి వేగంగా రాస్తుంది. ప్రతి కాన్ఫిగరేషన్‌ను Mac mini M5 Pro, Mac mini M6లో పోల్చండి.

Mac mini 70B మోడల్ నడపగలదా?

64 GB ఉన్న M5 Pro మాత్రమే, 4-bitలో, చిన్న కాంటెక్స్ట్‌తో: డిఫాల్ట్‌గా GPU వాడగల 48 GBలో వెయిట్‌లు సుమారు 39 GB తీసుకుంటాయి. అది నెమ్మదిగా రాస్తుంది, సెకనుకు కొన్ని టోకెన్‌లు. Macపై Llama 3.3 70B చూడండి.

Mac mini మోడల్‌ను నా ల్యాప్‌టాప్ లేదా ఫోన్ నుంచి ఎలా వాడాలి?

సర్వర్ మీ నెట్‌వర్క్‌పై వినేలా మొదలుపెట్టండి (ఉదాహరణకు mlx_lm.server --host 0.0.0.0), తర్వాత ఇతర డివైస్‌లోని యాప్‌కు http://<mac-mini-name>.local:8080/v1ను OpenAI-అనుకూల ఎండ్‌పాయింట్‌గా ఇవ్వండి.

Mac mini AI సర్వర్ ఎంత కరెంటు వాడుతుంది?

M6 Mac mini ఐడిల్‌లో సుమారు 4 W, గరిష్ఠంగా 70 W వరకు వాడుతుంది; M5 Pro 6 W నుంచి 145 W. ఒక రోజంతా పూర్తి లోడ్‌లో, అది గరిష్ఠంగా 1.68 లేదా 3.48 kWh (Apple).