로컬 LLM에 가장 좋은 Mac.

1메모리와 대역폭이 모든 걸 결정하는 이유

언어 모델은 토큰을 하나씩 쓰고, 토큰마다 모든 활성 가중치를 메모리에서 읽습니다. 그래서 대화 하나의 속도 한계는 대략 메모리 대역폭을 활성 가중치 크기로 나눈 값입니다. llama.cpp의 공개 벤치마크에서 Apple 칩의 실제 생성 속도는 이 한계의 43%~80%에 이릅니다(llama.cpp).

프롬프트를 읽는 단계는 다릅니다. 이 부분은 연산 능력에 좌우되기 때문에, GPU에 뉴럴 액셀러레이터를 넣은 M5 세대 칩은 이전 칩보다 프롬프트를 몇 배 빠르게 처리합니다(Apple).

2모든 칩 비교

구형 칩도 메모리만 충분하면 잘 돌아갑니다. 64GB의 M1 Max나 M2 Max는 400GB/s로 읽어 지금의 어떤 기본 칩보다 빠르고, 중고로는 훨씬 싼 경우가 많습니다.

3어떤 Mac을 살까

가볍게 시작: 16~32GB의 MacBook Air 또는 Mac mini

7B~14B 모델을 여유 있게, 32GB라면 30B급 모델도 돌립니다. 채팅, 글쓰기, 가벼운 코딩 도움에 충분합니다.

최고의 가성비: 64GB의 Pro 칩

M4 Pro나 M5 Pro를 탑재한 Mac mini 또는 MacBook Pro는 70B급 모델을 담고 중형 모델을 꽤 빠르게 돌립니다. 대부분의 개발자에게 가장 알맞은 선택입니다.

본격적인 로컬 AI: 128GB의 Max 칩

gpt-oss-120b(4비트 기준 약 65GB)를 노트북에서 돌립니다. Apple의 대역폭 수치로 계산하면 M5 Max에서 스트림 하나의 이론상 한계는 초당 약 225토큰입니다. 휴대용으로는 최고의 선택입니다.

가장 큰 모델: Ultra 칩의 Mac Studio

M5 Ultra라면 최대 512GB를 1.2TB/s로 담아, 파라미터 수천억 개짜리 모델을 책상 하나에 올릴 수 있습니다. 더 큰 모델이라면 Thunderbolt 5로 여러 Mac을 클러스터로 묶을 수 있습니다. Mac AI 클러스터를 참고하세요.

4Mac이 제 몫을 하게 하세요

AI용으로 산 Mac도 대부분의 시간은 기다리며 보냅니다. MLX Node는 그 남는 성능을 MLX Network에 빌려주는 무료 앱으로, 같은 MLX 프레임워크로 AI 작업을 실행하고 검증된 작업에 대해 MLX 토큰을 법니다. 칩에 맞는 전용 좌석이 있으면 버는 양이 몇 배로 늘어납니다. Pro 좌석은 Pro나 Max 칩에서, Ultra 좌석은 Ultra 칩에서 최대 속도로 돌아갑니다.

먼저 MLX Bench에서 내 Mac을 비교해 보세요. 모든 칩에서 오픈 모델의 실측 초당 토큰 수를 보여 줍니다.

5자주 묻는 질문

로컬 LLM에 16GB면 충분한가요?

4비트 기준 파라미터 약 14B까지의 모델이라면 충분합니다. 더 큰 모델이나 긴 컨텍스트에는 32GB 이상이 훨씬 여유롭습니다.

LLM용으로 Mac Studio와 MacBook Pro 중 무엇이 좋을까요?

둘 다 Max 칩과 최대 128GB를 선택할 수 있습니다. MacBook Pro는 들고 다닐 수 있고, Mac Studio는 오랜 부하에도 더 시원하며 Ultra 칩과 최대 512GB를 갖춘 유일한 Mac입니다.

로컬 AI에는 Mac이 Nvidia GPU보다 나은가요?

집에서 가장 큰 모델을 돌린다면 대체로 그렇습니다. Mac의 통합 메모리는 소비자용 그래픽카드의 메모리보다 훨씬 많이 담을 수 있습니다. 메모리에 들어가는 모델이라면 고급 Nvidia 카드가 더 빠릅니다.

M5에서 LLM이 더 빨라지나요?

네, 주로 프롬프트를 읽을 때 그렇습니다. Apple의 MLX 측정에서 M5는 M4보다 첫 토큰이 3.3~4.1배 빨리 나왔습니다. 생성 속도는 메모리 대역폭에 따라 빨라지며, M4에서 M5로 28% 늘었습니다.