핵심 요약
- MLX는 Apple Silicon을 위한 Apple의 머신러닝 프레임워크입니다. mlx-lm이 그 위에서 언어 모델을 돌립니다.
- llama.cpp는 GGUF 모델을 거의 모든 하드웨어에서 돌리는 빠른 C/C++ 추론 엔진으로, Mac에서는 Metal로 작동합니다.
- Ollama는 쉬운 프런트엔드입니다. 명령어 하나로 모델을 내려받아 실행하고, 로컬 API를 제공합니다. Apple Silicon에서는 이제 MLX 기반 프리뷰도 있습니다.
- Mac 네이티브로 가장 빠른 결과를 원하면 MLX, 모델과 플랫폼 선택의 폭을 원하면 llama.cpp, 가장 쉬운 시작을 원하면 Ollama나 LM Studio.
1각각 무엇인가
2Apple Silicon에서의 속도
텍스트를 생성할 때 셋 모두 같은 것에 막힙니다. 바로 메모리 대역폭입니다. 차이는 각각이 GPU를 얼마나 잘 쓰는지, 모델을 어떻게 양자화하는지에서 나옵니다.
MLX는 Apple Silicon의 통합 메모리에 맞춰 작성되었고, M5 칩에서는 GPU의 뉴럴 액셀러레이터를 씁니다. Apple의 측정에서 첫 토큰까지의 시간이 M4보다 3.3~4.1배 빨랐습니다(Apple). 2026년 3월 Ollama는 Apple Silicon에서 MLX로 옮겨 가기 시작했고, 지원 모델의 속도가 크게 빨라진 프리뷰를 내놓았습니다(Ollama). Mac 성능의 무게중심이 어디에 있는지 잘 보여 주는 대목입니다.
llama.cpp도 여전히 Mac에서 매우 빠르고 측정 자료가 풍부합니다. 공개 벤치마크 스레드는 칩을 비교하기에 가장 좋은 참고 자료입니다(llama.cpp). MLX만의 수치는 MLX Bench에서 확인하세요.
3무엇을 쓸까
- 오늘 바로 모델과 대화하고 싶다면: LM Studio(MLX와 GGUF 모델을 모두 돌리는 앱) 또는 Ollama.
- 로컬 API가 필요한 앱을 만든다면: Ollama, 또는 MLX에서 OpenAI 호환 엔드포인트를 제공하는
mlx_lm.server. - Mac에서 최고 속도를 원하거나 파인튜닝을 하려면: MLX와 mlx-lm.
- Mac, Linux, Windows에서 같은 환경이 필요하거나 특정 GGUF 양자화가 필요하다면: llama.cpp.
Mac에서 LLM 실행하기 단계별 가이드에서 모두 다룹니다.
4Mac 한 대를 넘어선 MLX
MLX는 Thunderbolt 5와 RDMA로 여러 Mac에 걸쳐 실행되기도 합니다(Mac AI 클러스터). 그리고 MLX Network의 엔진이기도 합니다. MLX Node는 MLX 프레임워크로 네트워크의 AI 작업을 실행하고 검증된 작업에 대해 MLX 토큰을 법니다. MLX Network는 Apple이 만든 것이 아닌 독립 프로젝트입니다. 차이점은 여기에서 확인하세요.
5자주 묻는 질문
- MLX가 llama.cpp보다 빠른가요?
- Apple Silicon에서 MLX는 생성 속도가 비슷하거나 더 빠른 경우가 많고, 특히 M5 칩에서는 프롬프트 처리가 빠릅니다. 결과는 모델과 양자화에 따라 다르니 내 Mac에서 직접 비교해 보세요.
- Ollama에서 MLX를 쓸 수 있나요?
- 네. Ollama 0.19부터 Apple Silicon에서 프리뷰로, 지원 모델에 한해, 메모리가 32GB보다 큰 Mac에서 쓸 수 있습니다.
- MLX 모델과 GGUF 모델은 다른가요?
- 같은 종류의 모델을 담는 서로 다른 파일 형식입니다. 인기 모델은 대부분 두 형식으로 모두 공개되며, Hugging Face의 mlx-community 조직에는 MLX로 변환한 모델이 수천 개 있습니다.