உங்கள் AI சர்வராக ஒரு Mac mini.

1ஏன் Mac mini

லாங்குவேஜ் மாடல் மூலம் உரை எழுதும் வேகம், மெமரியிலிருந்து வெயிட்களை எவ்வளவு வேகமாகப் படிக்க முடியும் என்பதால் வரம்புக்குட்படுகிறது. Mac-இல் GPU யூனிஃபைடு மெமரியை நேரடியாகப் படிக்கிறது; எனவே 64 GB கொண்ட Mac mini, நுகர்வோர் கிராஃபிக்ஸ் கார்டில் பொருந்தாத மாடல்களை, ஐடிலில் சில வாட்களிலேயே கொள்ள முடியும். இது குறைந்த இடம் எடுக்கிறது, macOS-இல் இயங்குகிறது, எனவே MacBook-இல் உள்ள அதே கருவிகள் வேலை செய்கின்றன.

அதன் வரம்புகள் மெமரியும் பேண்ட்வித்தும். மிகப் பெரிய Mac mini-இல் 307 GB/s வேகத்தில் 64 GB உள்ளது; அதிக பிரிசிஷனில் 70B வகை மாடல்களுக்கோ மிகப் பெரிய ஓப்பன் மாடல்களுக்கோ, 512 GB வரை கொண்ட Mac Studio அடுத்த படி (Apple). லோக்கல் LLM-களுக்கான சிறந்த Mac பாருங்கள்.

2எந்த மாடல்களுக்கு எந்த Mac mini

வேகத்தை பேண்ட்வித் நிர்ணயிக்கிறது: 24 அல்லது 32 GB கொண்ட M6-ஐ விட M5 Pro சுமார் 80% வேகமாக மெமரியைப் படிக்கிறது; எனவே அதே மாடல் அதில் சுமார் 80% வரை வேகமாக எழுதலாம். ஒவ்வொரு வரிசையும் அந்த Mac-இல் நன்றாக இயங்கும் ஒவ்வொரு மாடலுக்கும் வேகத்துடன் இணைப்பு தருகிறது. M4, M4 Pro கொண்ட முந்தைய Mac mini-களும் அதே முறையில் வேலை செய்கின்றன: Mac mini M4 Pro.

ஏஜென்ட்களுக்கும் நீண்ட ஆவணங்களுக்கும் மாடலுக்கு மேல் கான்டெக்ஸ்ட் மெமரி தேவை. AI ஏஜென்ட்தான் முக்கிய வேலை என்றால், வேகமான சிப்பை விட அதிக மெமரியைத் தேர்ந்தெடுங்கள்.

3விழிப்பாகவும் அணுகக்கூடியதாகவும் வையுங்கள்

Mac mini-இல் System Settings › Energy-ஐத் திறங்கள் (Apple):

• Prevent automatic sleeping when the display is off: இயக்குங்கள்; அப்போது திரை இணைக்கப்படாவிட்டாலும் சர்வர் பதில் தந்துகொண்டே இருக்கும்.
• Start up automatically after a power failure: இயக்குங்கள்; அப்போது அது தானாகவே மீண்டும் வரும்.
• Wake for network access: அதைத் தூங்க விட்டால், இயக்குங்கள்.
• Low Power Mode: சர்வர்கள் போல எப்போதும் இயங்கும் கணினிகளுக்கு, மின் பயன்பாட்டையும் ஃபேன் சத்தத்தையும் குறைக்க Apple இதைப் பரிந்துரைக்கிறது.

திரை இல்லாமல் நிர்வகிக்க, System Settings › General › Sharing-இல் Remote Login (SSH) அல்லது Screen Sharing-ஐ இயக்குங்கள் (Apple). சர்வர் ஆப் லாகினில் திறக்கும்படி அமைத்தால், ரீஸ்டார்ட்டுக்குப் பிறகு எல்லாம் மீண்டும் இயங்கும்.

4உங்கள் மற்ற சாதனங்களுக்கு மாடலை வழங்குங்கள்

இவை ஒவ்வொன்றும் Mac mini-இல் ஒரு மாடலை இயக்கி, உங்கள் மற்ற ஆப்களுக்கு OpenAI-இன் API வடிவத்தில் ஒரு API தருகின்றன; பெரும்பாலான சாட் ஆப்கள், கோடிங் கருவிகள், ஏஜென்ட்கள் அதை ஏற்கின்றன:

உதாரணமாக mlx-lm உடன்:

pip install mlx-lm
mlx_lm.server --model mlx-community/Qwen3-8B-4bit --host 0.0.0.0 --port 8080

# from another computer on the same network
curl http://<mac-mini-name>.local:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Hello"}]}'

Ollama இயல்பாக 5 நிமிடங்கள் கோரிக்கை இல்லாவிட்டால் மாடலை அன்லோட் செய்கிறது; சர்வரில் அதை மெமரியில் வைத்திருக்க OLLAMA_KEEP_ALIVE-ஐ அமையுங்கள் (Ollama). Mac-இல் LLM இயக்க சிறந்த ஆப்கள் இந்தக் கருவிகளை விரிவாக ஒப்பிடுகிறது.

இந்தக் கருவிகளும் மாடல்களை லோக்கலாக இயக்கும் மற்ற ஆப்களும் AI App Store-இல் உள்ளன; ஒவ்வொன்றுக்கும் தயாரிப்பாளரின் அதிகாரப்பூர்வ பதிவிறக்கம், உரிமம், உங்கள் தரவு எங்கே போகிறது என்பவை உண்டு.

5அதில் AI ஏஜென்ட்களை இயக்குதல்

சாட் ஆப்கள், கோப்புகள், வெப் வழியாக இரவுபகலாக வேலை செய்யும் AI ஏஜென்ட்களைப் பல Mac mini-கள் இப்போது இயக்குகின்றன. உதாரணமாக OpenClaw உங்கள் சொந்தக் கணினியில் இயங்கும் ஓப்பன்-சோர்ஸ் உதவியாளர்; அதில் லோக்கல் மாடல்கள் உட்பட மாடல்கள் மாற்றக்கூடிய பிளகின்கள் (OpenClaw). அத்தகைய ஏஜென்ட்டை லோக்கல் சர்வரின் முகவரிக்குச் சுட்டினால், அது கிளவுட் API-க்குப் பதிலாக உங்கள் Mac mini-இல் உள்ள மாடலைப் பயன்படுத்தும்.

சாட்டை விட ஏஜென்ட்களுக்கு இரண்டு விஷயங்கள் அதிக முக்கியம். கான்டெக்ஸ்ட்: ஏஜென்ட்கள் கருவி விவரங்களும் வரலாறும் கொண்ட நீண்ட ப்ராம்ப்ட்களை அனுப்புகின்றன; அது மாடலுக்கு மேல் மெமரி எடுக்கிறது (ஏன் என்று பாருங்கள்). மாடலின் தரம்: உங்கள் Mac mini-இல் நன்றாக இயங்கும் மிகப் பெரிய மாடல், சிறிய மாடலை விட அறிவுறுத்தல்களை நம்பகமாகப் பின்பற்றும், கருவிகளை நம்பகமாக அழைக்கும்.

6தனிப்பட்டதாக வையுங்கள்

• நீங்கள் மாற்றும் வரை இந்தச் சர்வர்கள் Mac-இல் மட்டுமே கேட்கின்றன. அவற்றை உங்கள் வீடு அல்லது அலுவலக நெட்வொர்க்குக்கு மட்டுமே திறங்கள், அதிலுள்ள சாதனங்களை நம்பினால் மட்டுமே.
• அடிப்படைப் பாதுகாப்புச் சோதனைகளை மட்டுமே செயல்படுத்துவதால், அதன் சர்வர் புரொடக்ஷனுக்குப் பரிந்துரைக்கப்படவில்லை என்று mlx-lm-இன் சொந்த ஆவணங்கள் கூறுகின்றன (mlx-lm).
• இணையத்துக்குப் போர்ட்டை ஃபார்வர்டு செய்யாதீர்கள். வெளியிலிருந்து Mac mini-ஐ அணுக, VPN போன்ற தனிப்பட்ட நெட்வொர்க்கைப் பயன்படுத்துங்கள்.
• கட்டளைகளை இயக்கவோ செய்திகளை அனுப்பவோ முடிந்த ஏஜென்ட் உங்கள் கணக்குகளுடன் செயல்படுகிறது: அதற்குத் தேவையான அணுகலை மட்டுமே கொடுங்கள்.

7அதன் செலவும், அதன் ஐடில் நேரமும்

வீட்டுச் சர்வர் தன் நாளின் பெரும்பகுதியைக் காத்திருப்பதிலேயே கழிக்கிறது. MLX Node அந்த நேரத்தைப் பயன்படுத்த முடியும்: ஒரு பணி எவ்வளவு மெமரி எடுக்கலாம் என்பது உட்பட, நீங்கள் அமைக்கும் வரம்புகளுக்குள் MLX Network-க்கான AI பணிகளை இயக்கி, இலவச இருக்கையில் நாளுக்கு 1 MLX வரை MLX டோக்கன்களை ஈட்டுகிறது. Mac mini முழு வேகத்தில் தேவைப்படும்போது அதை இடைநிறுத்துங்கள், அல்லது Mac ஐடிலாக இருந்த பிறகு மட்டுமே தொடங்கும்படி விடுங்கள். வருமானம் நெட்வொர்க்கைப் பொறுத்தது, உத்தரவாதம் இல்லை: அபாயங்களைப் படியுங்கள்.

8கேள்விகள்

AI-க்கு Mac mini நல்லதா?

மாடல்களை லோக்கலாக இயக்க, ஆம்: அதன் GPU யூனிஃபைடு மெமரியை நேரடியாகப் படிக்கிறது; எனவே 64 GB கொண்ட M5 Pro, 4-பிட்டில் சுமார் 85B பாராமீட்டர்கள் வரையிலான மாடல்களை, ஐடிலில் சில வாட்களிலேயே கொள்கிறது. பயிற்சிக்கோ மிகப் பெரிய மாடல்களுக்கோ, Mac Studio அல்லது GPU சர்வர் சிறந்த கருவி.

லோக்கல் LLM சர்வருக்கு எந்த Mac mini வாங்கலாம்?

முடிந்த அளவு அதிக மெமரி: எந்த மாடல்கள் பொருந்தும் என்பதை மெமரி தீர்மானிக்கிறது, பிறகு அதை அப்கிரேடு செய்ய முடியாது. 24 அல்லது 32 GB கொண்ட M6-ஐ விட M5 Pro சுமார் 80% வேகமாக மெமரியைப் படிக்கிறது, எனவே வேகமாக எழுதுகிறது. ஒவ்வொரு கான்ஃபிகரேஷனையும் Mac mini M5 Pro, Mac mini M6 இல் ஒப்பிடுங்கள்.

Mac mini 70B மாடலை இயக்குமா?

64 GB கொண்ட M5 Pro மட்டுமே, 4-பிட்டில், குறுகிய கான்டெக்ஸ்ட்டுடன்: GPU இயல்பாகப் பயன்படுத்தக்கூடிய 48 GB-இல் வெயிட்கள் சுமார் 39 GB எடுக்கின்றன. அது மெதுவாக எழுதுகிறது, வினாடிக்குச் சில டோக்கன்கள். Mac-இல் Llama 3.3 70B பாருங்கள்.

என் லேப்டாப் அல்லது போனிலிருந்து Mac mini-இன் மாடலை எப்படிப் பயன்படுத்துவது?

சர்வர் உங்கள் நெட்வொர்க்கில் கேட்கும்படி தொடங்குங்கள் (உதாரணமாக mlx_lm.server --host 0.0.0.0), பிறகு மற்ற சாதனத்தில் உள்ள ஆப்பை OpenAI-இணக்கமான எண்ட்பாயின்ட்டாக http://<mac-mini-name>.local:8080/v1 க்குச் சுட்டுங்கள்.

Mac mini AI சர்வர் எவ்வளவு மின்சாரம் பயன்படுத்துகிறது?

M6 Mac mini ஐடிலில் சுமார் 4 W, அதிகபட்சம் 70 W வரை எடுக்கிறது; M5 Pro 6 W முதல் 145 W வரை. ஒரு நாள் முழுவதும் முழு வேகத்தில், அது அதிகபட்சம் 1.68 அல்லது 3.48 kWh (Apple).