내 Mac에서 무엇이 돌아갈까?
Mac이나 다른 어떤 기기든 고르면, 어떤 오픈 AI 모델이 메모리에 들어가고 얼마나 빠르게 돌아가는지 알 수 있습니다. 각 모델의 모델 카드와 각 칩의 공개된 메모리·대역폭으로 계산했습니다.
Apple M5, 16 GB: 기본적으로 모델에 약 12 GB 사용 가능, 메모리 대역폭 153 GB/s. 인기 모델 43개 중 20개가 돌아갑니다. 상세 페이지 실측: llama.cpp에서 Llama 2 7B 4비트로 초당 32토큰 (M5 (10-core GPU)).
지능 점수: Artificial Analysis Intelligence Index v4.3.2(측정된 모델만). 모델 이름은 공식 모델 카드로 연결됩니다.
계산 방법
메모리. 각 모델은 들어가는 범위에서 가장 높은 정밀도로 표시합니다. 가중치당 8, 6, 4, 3, 2비트에 MLX의 그룹 스케일(가중치당 0.5비트)을 더한 크기, 또는 네이티브 형식으로 배포되는 모델은 그 형식입니다. Mac에서는 기본적으로 GPU가 통합 메모리의 약 75%를 쓸 수 있고, 그 위에 컨텍스트를 위한 여유를 남겨 둡니다.
속도. 텍스트를 생성할 때는 토큰마다 활성 가중치를 모두 한 번씩 읽습니다. 그래서 메모리 대역폭을 그 바이트 수로 나눈 값이 한 대화의 상한입니다. llama.cpp의 Apple Silicon 공개 벤치마크에서 실제 속도는 그 약 45~80%였고, 표시된 범위가 바로 이것입니다. 긴 프롬프트를 읽는 속도는 연산 성능이 좌우하므로 여기에는 넣지 않았습니다.
출처. 파라미터 수, 컨텍스트, 라이선스는 Hugging Face에 있는 각 모델의 공식 카드(모델 이름에 링크), 메모리와 대역폭은 Apple과 각 제조사의 사양에서 가져왔습니다. 2026-10-19 확인. 내 Mac은 MLX Bench에서 직접 측정할 수 있습니다. 모든 Mac, 모든 모델, 전체 호환표를 JSON과 CSV로 무료로 받을 수 있습니다: 오픈 데이터.
둘러보기. 8GB M1부터 512GB M5 Ultra까지 모든 Mac과 각각 돌릴 수 있는 모델, 그리고 모든 모델과 필요한 최소 사양 Mac.
직접 돌려 보기. 단계별 안내: Mac에서 LLM 내려받아 실행하기, MLX vs Ollama vs llama.cpp, 로컬 LLM에 가장 좋은 Mac. Mac이 쉬는 동안에는 MLX 토큰을 벌 수도 있습니다.
- LLM이 내 Mac에서 돌아가는지 어떻게 알 수 있나요?
- 원하는 정밀도에서의 모델 크기를 Mac의 통합 메모리와 비교해 보세요. macOS는 기본적으로 그중 약 75%를 GPU에 쓰게 하고, 모델은 컨텍스트를 위한 공간도 필요합니다. 4비트 모델은 파라미터 10억 개당 0.5GB 남짓이 필요합니다.
- 초당 몇 토큰이 나오나요?
- 생성 속도는 메모리 대역폭이 정합니다. 토큰마다 모델의 활성 가중치를 한 번씩 읽기 때문입니다. 대역폭을 토큰당 읽는 바이트 수로 나눈 값이 한 대화의 상한이고, 실제로는 보통 그 약 45~80%가 나옵니다.
- 전문가 혼합(MoE) 모델은 왜 더 빠른가요?
- 많은 전문가를 메모리에 올려 두지만 토큰마다 그중 몇 개만 쓰기 때문에, 토큰당 읽는 바이트가 훨씬 적습니다. 메모리는 모델 전체만큼 필요하지만, 속도는 훨씬 작은 모델 수준입니다.
- 4비트면 충분한가요?
- 대부분의 모델은 4비트에서도 원본에 가까운 품질을 유지합니다. 4비트 아래로 가면 품질이 더 빨리 떨어지기 때문에, 4비트 미만 버전에는 표시를 해 두었습니다.