Mac mini를 나만의 AI 서버로.

1왜 Mac mini인가

언어 모델로 글을 쓰는 속도는 메모리에서 가중치를 얼마나 빨리 읽느냐에 달려 있습니다. Mac에서는 GPU가 통합 메모리를 직접 읽기 때문에, 64GB Mac mini는 소비자용 그래픽 카드에 들어가지 않는 모델도 담을 수 있고, 유휴 시에는 몇 와트만 씁니다. 자리를 거의 차지하지 않고 macOS로 돌아가므로 MacBook과 같은 도구를 그대로 쓸 수 있습니다.

한계는 메모리와 대역폭입니다. 가장 큰 Mac mini는 64GB, 307GB/s입니다. 70B급 모델을 더 높은 정밀도로 돌리거나 가장 큰 오픈 모델을 돌리려면, 최대 512GB인 Mac Studio가 다음 단계입니다(Apple). 로컬 LLM용 Mac 추천을 보세요.

2어떤 모델에 어떤 Mac mini

속도는 대역폭이 정합니다. M5 Pro는 24GB나 32GB M6보다 메모리를 약 80% 빨리 읽으므로, 같은 모델을 최대 약 80% 빨리 씁니다. 각 행은 그 Mac에서 잘 돌아가는 모든 모델과 속도로 연결됩니다. M4와 M4 Pro를 탑재한 이전 Mac mini도 원리는 같습니다. Mac mini M4 Pro.

에이전트와 긴 문서에는 모델 외에 컨텍스트 메모리가 더 필요합니다. AI 에이전트가 주된 용도라면 더 빠른 칩보다 더 많은 메모리를 고르세요.

3잠들지 않고 늘 접속되게

Mac mini에서 시스템 설정 › 에너지를 여세요(Apple).

• 디스플레이가 꺼져 있을 때 자동으로 잠자기 방지: 켬. 화면을 연결하지 않아도 서버가 계속 응답합니다.
• 정전 후 자동으로 시동: 켬. 저절로 다시 켜집니다.
• 네트워크 접근 시 깨우기: 잠자기를 허용한다면 켬.
• 저전력 모드: Apple은 서버처럼 늘 켜 두는 컴퓨터에 에너지 사용과 팬 소음을 줄이도록 이 모드를 권합니다.

화면 없이 관리하려면 시스템 설정 › 일반 › 공유에서 원격 로그인(SSH)이나 화면 공유를 켜세요(Apple). 서버 앱이 로그인 시 열리도록 설정해 두면 재시동 후에도 모두 다시 돌아옵니다.

4다른 기기에 모델 제공하기

아래 도구는 모두 Mac mini에서 모델을 돌리고, 다른 앱에 OpenAI API 형식의 API를 제공합니다. 대부분의 채팅 앱, 코딩 도구, 에이전트가 이 형식을 받습니다.

예를 들어 mlx-lm이라면:

pip install mlx-lm
mlx_lm.server --model mlx-community/Qwen3-8B-4bit --host 0.0.0.0 --port 8080

# from another computer on the same network
curl http://<mac-mini-name>.local:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Hello"}]}'

Ollama는 기본적으로 요청이 5분 동안 없으면 모델을 내립니다. 서버에서는 OLLAMA_KEEP_ALIVE를 설정해 메모리에 남겨 두세요(Ollama). 이 도구들의 자세한 비교는 맥에서 로컬 LLM 돌리는 앱 추천에 있습니다.

AI App Store에는 이 도구들과 모델을 로컬에서 실행하는 다른 앱이 개발사의 공식 다운로드, 라이선스, 데이터가 어디로 가는지와 함께 나옵니다.

5AI 에이전트 돌리기

요즘 많은 Mac mini가 채팅 앱, 파일, 웹을 오가며 24시간 일하는 AI 에이전트를 돌립니다. 예를 들어 OpenClaw는 내 컴퓨터에서 돌아가는 오픈소스 어시스턴트로, 로컬 모델을 포함한 모델을 플러그인처럼 바꿔 끼울 수 있습니다(OpenClaw). 이런 에이전트에 로컬 서버 주소를 지정하면 클라우드 API 대신 Mac mini의 모델을 씁니다.

에이전트에는 채팅보다 두 가지가 더 중요합니다. 컨텍스트: 에이전트는 도구 설명과 기록이 담긴 긴 프롬프트를 보내므로 모델 외에 메모리가 더 듭니다(이유 보기). 그리고 모델 품질: Mac mini에서 잘 돌아가는 가장 큰 모델이 작은 모델보다 지시를 더 잘 따르고 도구를 더 안정적으로 호출합니다.

6외부에 노출하지 않기

• 이 서버들은 설정을 바꾸기 전까지 Mac 자신에서만 접속을 받습니다. 집이나 사무실 네트워크에만, 그리고 그 네트워크의 기기를 신뢰할 때만 여세요.
• mlx-lm 문서는 기본적인 보안 검사만 구현했기 때문에 서버를 프로덕션에 권장하지 않는다고 밝힙니다(mlx-lm).
• 인터넷으로 포트를 포워딩하지 마세요. 밖에서 Mac mini에 접속하려면 VPN 같은 사설 네트워크를 쓰세요.
• 명령을 실행하거나 메시지를 보낼 수 있는 에이전트는 내 계정으로 행동합니다. 꼭 필요한 권한만 주세요.

7운영 비용과 노는 시간

홈 서버는 하루 대부분을 기다리며 보냅니다. MLX Node는 그 시간을 활용합니다. 작업 하나가 쓸 수 있는 메모리를 포함해 내가 정한 한도 안에서 MLX Network의 AI 작업을 실행하고, 무료 좌석으로 하루 최대 1 MLX의 MLX 토큰을 법니다. Mac mini를 최대 속도로 써야 할 때는 일시 정지하거나, Mac이 유휴 상태일 때만 시작하게 하세요. 수익은 네트워크에 달려 있으며 보장되지 않습니다. 위험 고지를 읽어 보세요.

8자주 묻는 질문

Mac mini는 AI용으로 좋은가요?

로컬에서 모델을 돌리는 용도라면 그렇습니다. GPU가 통합 메모리를 직접 읽으므로 64GB M5 Pro는 4비트 기준 약 85B 파라미터까지의 모델을 담고, 유휴 시에는 몇 와트만 씁니다. 학습이나 가장 큰 모델에는 Mac Studio나 GPU 서버가 더 알맞습니다.

로컬 LLM 서버용으로 어떤 Mac mini를 사야 하나요?

메모리를 최대한 많이. 어떤 모델이 들어가는지는 메모리가 정하고, 나중에 늘릴 수 없습니다. M5 Pro는 24GB나 32GB M6보다 메모리를 약 80% 빨리 읽으므로 쓰는 속도도 빠릅니다. 모든 구성은 Mac mini M5 Pro와 Mac mini M6에서 비교하세요.

Mac mini로 70B 모델을 돌릴 수 있나요?

64GB M5 Pro만 4비트에 짧은 컨텍스트로 가능합니다. 가중치가 GPU가 기본으로 쓸 수 있는 48GB 중 약 39GB를 차지합니다. 쓰는 속도는 초당 몇 토큰으로 느립니다. Mac에서 Llama 3.3 70B를 보세요.

노트북이나 휴대폰에서 Mac mini의 모델을 쓰려면 어떻게 하나요?

서버가 네트워크에서 접속을 받도록 실행한 뒤(예: mlx_lm.server --host 0.0.0.0), 다른 기기의 앱에서 http://<mac-mini-name>.local:8080/v1 을 OpenAI 호환 엔드포인트로 지정하세요.

Mac mini AI 서버의 소비 전력은 얼마인가요?

M6 Mac mini는 유휴 시 약 4W에서 최대 70W, M5 Pro는 6W에서 145W입니다. 하루 종일 최대로 돌려도 최대 1.68kWh 또는 3.48kWh입니다(Apple).