Mac에서 LLM 실행하기.

1내 Mac에 들어가는 모델

모델 가중치는 컨텍스트와 macOS를 위한 여유를 남기고 메모리에 들어가야 합니다. 가중치당 4비트라면 파라미터 10억 개당 약 0.55~0.6GB로 잡으세요.

속도는 별개 문제입니다. 새 토큰마다 활성 가중치를 메모리에서 한 번씩 읽어야 하므로, 초당 토큰 수는 메모리 대역폭에 비례합니다. 모든 칩은 로컬 LLM용 Mac 추천 가이드에서 다룹니다.

2쉬운 방법: LM Studio

LM Studio는 채팅 창과 모델 브라우저를 갖춘 무료 Mac 앱입니다. Apple Silicon에서는 Apple의 MLX 형식 모델은 물론, llama.cpp가 쓰는 GGUF 형식 모델도 돌릴 수 있습니다.

1. LM Studio를 다운로드해 엽니다.
2. 모델을 검색하고, Apple Silicon에서는 MLX 버전을 우선 고르며, 메모리에 맞는 크기를 선택합니다.
3. 모델을 불러와 채팅을 시작합니다. 다른 앱을 위한 로컬 서버를 켤 수도 있습니다.

3명령어 하나: Ollama

Ollama는 터미널에서 모델을 실행하고 Mac의 다른 앱에 제공합니다. 설치한 뒤에는 명령어 하나로 모델을 내려받아 실행합니다:

ollama run llama3.2

버전 0.19부터 Apple Silicon용 Ollama에는 지원 모델에 한해 Apple의 MLX 프레임워크로 구동되는 프리뷰가 있으며, 속도가 크게 빨라졌습니다. 이 프리뷰는 메모리가 32GB보다 큰 Mac을 요구합니다(Ollama).

4가장 빠른 방법: Apple의 MLX와 mlx-lm

MLX는 Apple Silicon을 위한 Apple의 오픈소스 머신러닝 프레임워크이고, mlx-lm은 언어 모델용 패키지입니다. Hugging Face의 mlx-community 조직에 바로 쓸 수 있는 모델이 수천 개 있습니다.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

터미널에서 대화하려면 mlx_lm.chat을, 다른 앱이 호출할 로컬 API가 필요하면 mlx_lm.server를 쓰세요. M5 칩에서 MLX는 GPU에 새로 들어간 뉴럴 액셀러레이터를 사용합니다. Apple의 측정에서 첫 토큰이 M4보다 3.3~4.1배 빨리 나왔습니다(Apple Machine Learning Research).

5측정하고, 일하게 하세요

MLX Bench는 모든 Apple Silicon 칩의 MLX 속도를 모은 공개 리더보드입니다. 생성과 프롬프트의 초당 토큰 수, 최대 메모리를 보여 줍니다. 파일 하나짜리 스크립트를 Mac에서 실행해 순위를 확인하세요.

Mac을 쓰지 않는 동안에는 다른 사람을 위해 AI를 돌릴 수 있습니다. MLX Node는 같은 MLX 프레임워크로 MLX Network의 AI 작업을 실행하고, 내가 정한 한도 안에서, 검증된 작업에 대해 MLX 토큰을 버는 무료 앱입니다.

6자주 묻는 질문

MacBook Air로 LLM을 돌릴 수 있나요?

네. 16GB MacBook Air는 4비트 7B~14B 모델을 여유 있게 돌리고, 32GB라면 약 30B 모델까지 돌립니다. 메모리 대역폭이 더 큰 Pro나 Max 칩 Mac보다는 느립니다.

Mac에서 MLX가 Ollama보다 빠른가요?

MLX는 Apple Silicon용으로 작성되었기 때문에 대체로 그렇습니다. Ollama도 자체 MLX 기반 프리뷰에서 Apple Silicon의 큰 속도 향상을 보고합니다. MLX와 Ollama 비교 가이드에서 자세히 다룹니다.

로컬 모델은 오프라인에서도 작동하나요?

네. 한 번 내려받으면 모델은 전적으로 Mac에서 실행되고, 프롬프트는 Mac 밖으로 나가지 않습니다.

70B 모델에는 메모리가 얼마나 필요한가요?

4비트 기준 가중치만 약 40GB이므로 64GB 이상의 Mac이 필요합니다. 품질이 비슷한 전문가 혼합 모델은 메모리가 더 필요할 수 있지만 더 빠르게 돌아갑니다.