Mac에서 LLM 내려받아 실행하기.

1모델 찾는 곳

오픈 웨이트 모델은 대부분 Hugging Face에 올라와 있습니다. 같은 모델도 보통 여러 버전으로 나오며, 형식에 따라 어떤 앱에서 돌릴 수 있는지가 정해집니다.

어떤 런타임을 쓸지 모르겠다면 MLX vs Ollama vs llama.cpp에서 비교해 보세요. 처음이라면 Mac에서 LLM 실행하기부터 시작하세요.

2메모리에 맞는 크기 고르기

모델 가중치는 여유를 남기고 메모리에 들어가야 합니다. MLX는 양자화된 가중치를 그 비트 수에 더해 가중치 64개 묶음마다 공유 스케일과 바이어스를 붙여 저장하므로, 가중치당 약 0.5비트가 더 듭니다(MLX). 그래서 4비트는 파라미터 10억 개당 약 0.56GB, 8비트는 약 1.06GB입니다.

macOS는 기본적으로 통합 메모리의 일부만 GPU가 쓰도록 합니다. Compare는 약 4분의 3으로 가정하며, mlx-lm의 README에는 macOS 15 이상에서 sudo sysctl iogpu.wired_limit_mb=N으로 이 한도를 올리는 방법이 나옵니다(mlx-lm). 전문가 혼합(MoE) 모델은 전체 파라미터가 메모리를, 활성 파라미터가 속도를 정합니다. Compare는 인기 모델과 모든 Apple 칩에 대해 이 계산을 해 주고, 로컬 LLM용 Mac 추천은 대역폭이 속도를 정하는 이유를 설명합니다.

3양자화: 4비트, 8비트, 그 밖의 선택

양자화는 가중치를 더 적은 비트로 저장해 모델이 메모리를 덜 쓰고 더 빨리 돌게 하는 대신, 품질을 어느 정도 잃습니다. Mac에서는 보통 4비트로 시작합니다. 8비트는 원본에 더 가깝고 크기는 두 배입니다. 4비트 아래로 내려가면 파일은 작아지지만 답의 질이 더 빨리 떨어지므로, 그러지 않으면 더 큰 모델이 들어가지 않을 때만 시도하세요.

• MLX 버전은 이름에 표시합니다. -4bit, -8bit, 그리고 민감한 층을 더 많은 비트로 남긴 혼합 정밀도 버전도 있습니다.
• GGUF 파일은 llama.cpp의 이름을 씁니다. Q4_K_M, Q5_K_M, Q8_0 등입니다. Hugging Face의 GGUF 저장소를 버전 지정 없이 Ollama에서 실행하면, Q4_K_M이 있을 경우 그것을 고릅니다(Hugging Face).
• 직접 만들기: 원본 가중치에서 mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q를 실행하면 4비트 사본이 만들어집니다(mlx-lm).

4디스크 공간과 모델 저장 위치

다운로드 크기는 위 표의 가중치 크기와 비슷하므로, 4비트 8B 모델은 몇 GB, 70B 모델은 수십 GB입니다. 같은 모델을 크기나 버전별로 여러 개 시험하면 금세 쌓입니다.

mlx-lm과 다른 Hugging Face 도구는 다운로드를 ~/.cache/huggingface/hub에 보관합니다. 위치를 옮기려면 HF_HOME이나 HF_HUB_CACHE를 설정하세요. hf cache ls로 무엇이 있는지 보고, hf cache rm으로 모델을 지웁니다(Hugging Face). Ollama와 LM Studio는 모델을 각자의 폴더에 두고 직접 관리합니다.

5게이트 모델과 Hugging Face 토큰

Llama를 비롯한 일부 모델은 게이트가 걸려 있어, 내려받기 전에 제작사의 약관에 동의해야 합니다(Hugging Face).

1. 무료 Hugging Face 계정에 로그인하고 모델 페이지를 여세요.
2. 페이지의 버튼(기본은 Agree and send request to access repo)으로 약관에 동의하세요. 일부 제작사는 요청을 직접 승인하므로 시간이 더 걸립니다.
3. Hugging Face 설정에서 액세스 토큰을 만드세요.
4. 도구에 토큰을 넘기세요. mlx-lm과 다른 Hugging Face 도구는 터미널에서 hf auth login을 실행하고(Hugging Face), 앱이라면 Hugging Face 토큰 칸에 붙여 넣으세요.

6실행하기: 네 가지 방법

mlx-lm: 터미널에서 쓰는 Apple의 MLX

pip로 설치하고 Hugging Face의 MLX 모델 이름을 지정하면 됩니다. 처음 실행할 때 내려받습니다(mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server는 다른 앱을 위해 localhost:8080에서 OpenAI 방식의 API로 모델을 제공합니다(mlx-lm).

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: 모델 브라우저가 있는 앱

LM Studio는 앱 안에서 Hugging Face 모델을 검색하고 내려받으며, Apple Silicon에서 MLX 모델과 llama.cpp 기반 GGUF를 모두 실행합니다. Apple Silicon과 macOS 14 이상이 필요하고, 메모리는 16GB 이상을 권장합니다(LM Studio).

Ollama: 명령어 하나

Ollama는 자체 라이브러리의 모델과 Hugging Face의 GGUF 저장소를 바로 실행하며, 양자화 태그도 붙일 수 있습니다(Hugging Face).

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: 무료 앱

MLX Harness는 vMLX를 바탕으로 만든 무료 Mac 앱입니다. Hugging Face에서 MLX 모델을 검색하고, 채팅하고, 도구와 이미지 모델을 실행하며, 모든 것을 로컬 API로 제공합니다. 게이트웨이도 8080번 포트를 쓰므로 같은 포트에서 mlx_lm.server와 함께 실행하지 마세요. Mac을 쓰지 않을 때는 MLX Node로 Mac을 MLX Network에 빌려줄 수도 있습니다.

7자주 묻는 질문

Mac용 LLM은 어디서 내려받나요?

Hugging Face에서 받습니다. MLX 버전(상당수는 mlx-community가 올림)이나 GGUF 파일을 찾으세요. LM Studio와 Ollama는 검색과 다운로드를 대신해 줍니다.

어떤 크기의 모델을 내려받아야 하나요?

가중치가 Mac 메모리에 넉넉히 들어가는 것입니다. 4비트에서 파라미터 10억 개당 약 0.56GB이므로 8B 모델은 약 4.5GB, 70B는 약 39GB이고, 여기에 컨텍스트 공간이 더해집니다. mlx.app의 Compare에서 내 Mac 기준으로 확인할 수 있습니다.

Mac에서는 MLX와 GGUF 중 무엇이 좋나요?

둘 다 Apple Silicon에서 잘 돌아갑니다. MLX 버전은 Apple의 MLX용으로 만들어져 mlx-lm, LM Studio, MLX Harness에서 실행되고, GGUF 파일은 llama.cpp, Ollama, LM Studio에서 실행됩니다.

Hugging Face 계정이 필요한가요?

공개 모델이라면 필요 없습니다. 게이트 모델에는 무료 계정, 라이선스 동의, 액세스 토큰이 필요합니다.

내려받은 모델을 오프라인에서 돌릴 수 있나요?

네. 파일이 Mac에 있으면 인터넷 연결 없이 모델이 돌아가고, 프롬프트는 Mac 밖으로 나가지 않습니다.