Mac mini bilang AI server mo.

1Bakit Mac mini

Ang pagsusulat ng text gamit ang language model ay limitado ng bilis ng pagbasa ng weights mula sa memory. Sa Mac, direktang binabasa ng GPU ang unified memory, kaya kaya ng Mac mini na may 64 GB ang mga model na hindi kasya sa consumer graphics card, sa ilang watt lang kapag idle. Maliit ang espasyong kailangan nito at macOS ang tumatakbo, kaya gumagana ang parehong mga tool tulad sa MacBook.

Memory at bandwidth ang mga limitasyon nito. May 64 GB sa 307 GB/s ang pinakamalaking Mac mini; para sa 70B-class na model sa mas mataas na precision o sa pinakamalalaking open model, Mac Studio na may hanggang 512 GB ang susunod na hakbang (Apple). Tingnan ang pinakamagandang Mac para sa local LLM.

2Aling Mac mini para sa aling model

Bandwidth ang nagtatakda ng bilis: mga 80% na mas mabilis magbasa ng memory ang M5 Pro kaysa sa M6 na may 24 o 32 GB, kaya puwedeng sumulat ang parehong model nang hanggang mga 80% na mas mabilis dito. Naka-link ang bawat row sa bawat model na mahusay tumakbo sa Mac na iyon, kasama ang bilis. Ganito rin gumagana ang mga naunang Mac mini na may M4 at M4 Pro: Mac mini M4 Pro.

Kailangan ng mga agent at mahahabang dokumento ng memory para sa context bukod pa sa model. Kung AI agent ang pangunahing trabaho, piliin ang mas maraming memory kaysa sa mas mabilis na chip.

3Panatilihin itong gising at maaabot

Buksan ang System Settings › Energy sa Mac mini (Apple):

• Prevent automatic sleeping when the display is off: naka-on, para patuloy na sumasagot ang server kahit walang nakakabit na screen.
• Start up automatically after a power failure: naka-on, para kusa itong bumalik.
• Wake for network access: naka-on, kung hinahayaan mo itong matulog.
• Low Power Mode: iminumungkahi ito ng Apple para sa mga computer na laging bukas, gaya ng mga server, para mabawasan ang konsumo ng kuryente at ingay ng fan.

Para mapamahalaan ito nang walang screen, i-on ang Remote Login (SSH) o Screen Sharing sa System Settings › General › Sharing (Apple). I-set ang server app na magbukas sa login, para maibalik ng restart ang lahat.

4I-serve ang model sa iba mong device

Ang bawat isa sa mga ito ay nagpapatakbo ng model sa Mac mini at nagbibigay sa iba mong app ng API sa format na ginagamit ng API ng OpenAI, na tinatanggap ng karamihan ng chat app, coding tool at agent:

Halimbawa, gamit ang mlx-lm:

pip install mlx-lm
mlx_lm.server --model mlx-community/Qwen3-8B-4bit --host 0.0.0.0 --port 8080

# from another computer on the same network
curl http://<mac-mini-name>.local:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Hello"}]}'

Bilang default, inaalis ng Ollama ang model sa memory pagkalipas ng 5 minutong walang request; i-set ang OLLAMA_KEEP_ALIVE para manatili ito sa memory sa isang server (Ollama). Detalyadong inihahambing ang mga tool na ito sa pinakamahusay na app para magpatakbo ng LLM sa Mac.

Naglilista ang AI App Store ng mga tool na ito at ng iba pang app na nagpapatakbo ng mga model nang lokal, bawat isa ay may opisyal na download ng gumawa, lisensya nito at kung saan napupunta ang data mo.

5Pagpapatakbo ng AI agent dito

Maraming Mac mini na ngayon ang nagpapatakbo ng mga AI agent na nagtatrabaho sa mga chat app, file at web buong araw at gabi. Halimbawa ang OpenClaw, isang open-source na assistant na tumatakbo sa sarili mong computer, kung saan plugin na puwedeng palitan ang mga model, kasama ang mga lokal (OpenClaw). Ituro ang ganitong agent sa address ng lokal na server at gagamitin nito ang model sa Mac mini mo sa halip na cloud API.

Dalawang bagay ang mas mahalaga sa agent kaysa sa chat. Context: mahahabang prompt na may paglalarawan ng mga tool at history ang ipinapadala ng mga agent, na gumagamit ng memory bukod pa sa model (tingnan kung bakit). At kalidad ng model: mas maaasahang susunod sa mga instruction at tatawag ng tool ang pinakamalaking model na mahusay tumakbo sa Mac mini mo kaysa sa maliit.

6Panatilihin itong pribado

• Sa Mac lang mismo nakikinig ang mga server na ito hangga't hindi mo binabago. Buksan lang sila sa network ng bahay o opisina mo, at kung pinagkakatiwalaan mo lang ang mga device dito.
• Sinasabi mismo ng dokumentasyon ng mlx-lm na hindi nirerekomenda ang server nito para sa production dahil basic na security check lang ang ipinapatupad nito (mlx-lm).
• Huwag mag-forward ng port sa internet. Para maabot ang Mac mini mula sa labas, gumamit ng private network gaya ng VPN.
• Ang agent na kayang magpatakbo ng command o magpadala ng mensahe ay kumikilos gamit ang mga account mo: ibigay lang ang access na kailangan nito.

7Magkano ang gastos, at ang mga idle na oras nito

Halos buong araw na naghihintay ang isang home server. Magagamit ng MLX Node ang mga oras na iyon: nagpapatakbo ito ng mga AI job para sa MLX Network sa loob ng mga limitasyong itinakda mo, kasama kung gaano karaming memory ang puwedeng gamitin ng isang job, at kumikita ng MLX Tokens sa libreng seat, hanggang 1 MLX bawat araw. I-pause ito kapag kailangan mo ang Mac mini nang buong bilis, o hayaan itong magsimula lang kapag idle na ang Mac. Nakadepende sa network ang kita at hindi ito garantisado: basahin ang mga panganib.

8Mga tanong

Maganda ba ang Mac mini para sa AI?

Para sa pagpapatakbo ng model nang lokal, oo: direktang binabasa ng GPU nito ang unified memory, kaya kaya ng M5 Pro na may 64 GB ang mga model na hanggang mga 85B parameter sa 4-bit, sa ilang watt lang kapag idle. Para sa training o sa pinakamalalaking model, mas angkop ang Mac Studio o GPU server.

Aling Mac mini ang bibilhin para sa local LLM server?

Pinakamaraming memory na kaya mo: memory ang nagpapasya kung aling model ang kasya at hindi na ito maa-upgrade. Mga 80% ding mas mabilis magbasa ng memory ang M5 Pro kaysa sa M6 na may 24 o 32 GB, kaya mas mabilis itong sumulat. Ihambing ang bawat configuration sa Mac mini M5 Pro at Mac mini M6.

Kaya ba ng Mac mini ang 70B na model?

Ang M5 Pro na may 64 GB lang, sa 4-bit at may maikling context: mga 39 GB ang kinukuha ng weights sa 48 GB na magagamit ng GPU bilang default. Mabagal itong sumulat, ilang token bawat segundo. Tingnan ang Llama 3.3 70B sa Mac.

Paano ko gagamitin ang model ng Mac mini mula sa laptop o phone ko?

Simulan ang server para makinig ito sa network mo (halimbawa mlx_lm.server --host 0.0.0.0), saka ituro ang app sa kabilang device sa http://<mac-mini-name>.local:8080/v1 bilang OpenAI-compatible na endpoint.

Gaano kalaking kuryente ang gamit ng Mac mini na AI server?

Mga 4 W kapag idle at hanggang 70 W ang M6 Mac mini; 6 W hanggang 145 W ang M5 Pro. Kung todo buong araw, 1.68 o 3.48 kWh iyon sa pinakamarami (Apple).