핵심 요약
- 가중치: 파라미터 수 × 가중치당 비트 수 ÷ 8. MLX의 4비트 형식이라면 10억 파라미터당 약 0.56GB, 8비트는 약 1.06GB, 16비트는 2GB입니다.
- 따라서 컨텍스트를 빼고도 8B 모델은 4비트로 약 4.5GB, 32B 모델은 약 18GB, 70B 모델은 약 39GB가 필요합니다.
- 컨텍스트(KV 캐시)는 그 위에 더해지고 토큰마다 커집니다. Qwen3 8B에서 32,000토큰 컨텍스트는 약 4.8GB로, 4비트 가중치보다 큽니다.
- Mac에서는 기본적으로 GPU가 통합 메모리의 약 75%를 쓸 수 있어, 16GB Mac이라면 모델에 약 12GB를 쓸 수 있습니다. PC에서는 모델이 그래픽 카드 자체의 VRAM에 들어가야 최대 속도로 돌아갑니다.
1규칙: 파라미터 × 비트
모델의 대부분은 가중치입니다. 파라미터 하나에 숫자 하나입니다. 16비트로 저장하면 하나에 2바이트이므로 10억 파라미터당 2GB가 필요합니다. 양자화는 가중치를 더 적은 비트로 저장해 모델을 거의 비례해서 줄입니다. 4비트에서도 대부분의 모델은 원래 품질에 가깝게 유지됩니다.
양자화 형식은 가중치를 복원하기 위한 값도 조금 더 저장합니다. Apple의 MLX는 기본적으로 가중치 64개 그룹마다 스케일과 바이어스를 모델 자체의 16비트 형식으로 저장하며(MLX), 이 때문에 가중치당 0.5비트가 더해집니다. 그래서 크기는 다음과 같습니다.
| 정밀도 | 가중치당 비트 | 10억 파라미터당 GB |
|---|---|---|
| 16비트(원본) | 16 | 2.0 |
| 8비트 | 8.5 | 약 1.06 |
| 6비트 | 6.5 | 약 0.81 |
| 4비트 | 4.5 | 약 0.56 |
| 3비트 | 3.5 | 약 0.44 |
| 2비트 | 2.5 | 약 0.31 |
4비트 아래로 내려가면 품질이 더 빨리 떨어집니다. 여유 있게 들어가는 가장 높은 정밀도를 고르는 것이 좋은 기본값입니다.
2흔한 모델 크기별 메모리
| 모델 크기 | 16비트 | 8비트 | 4비트 | 3비트 |
|---|---|---|---|---|
| 1B | 2GB | 1.1GB | 0.6GB | 0.4GB |
| 3B | 6GB | 3.2GB | 1.7GB | 1.3GB |
| 8B | 16GB | 8.5GB | 4.5GB | 3.5GB |
| 14B | 28GB | 14.9GB | 7.9GB | 6.1GB |
| 32B | 64GB | 34GB | 18GB | 14GB |
| 70B | 140GB | 74.4GB | 39.4GB | 30.6GB |
| 120B | 240GB | 127.5GB | 67.5GB | 52.5GB |
| 235B | 470GB | 249.7GB | 132.2GB | 102.8GB |
| 405B | 810GB | 430.3GB | 227.8GB | 177.2GB |
| 671B | 1,342GB | 712.9GB | 377.4GB | 293.6GB |
어떤 모델은 처음부터 낮은 정밀도로 배포됩니다. OpenAI의 gpt-oss-120b는 파라미터가 1,170억 개이고 전문가 혼합 가중치를 4비트 형식인 MXFP4로 저장해, 80GB GPU 하나에 들어갑니다(OpenAI). 특정 모델이 궁금하다면 해당 페이지를 보세요. 모든 오픈 모델과 필요한 Mac, 예를 들어 gpt-oss-120b나 Llama 3.3 70B.
3컨텍스트도 메모리를 씁니다
모델은 읽고 쓰는 동안 대화의 모든 토큰에 대해 레이어마다 키와 값을 하나씩 보관합니다. 이것이 KV 캐시입니다. 크기는 2 × 레이어 수 × KV 헤드 수 × 헤드 크기 × 값당 바이트 수 × 토큰 수입니다.
예를 들어 Qwen3 8B는 레이어 36개, KV 헤드 8개, 헤드 크기 128이고 16비트로 저장합니다(config). 토큰당 147,456바이트입니다.
| 컨텍스트 | Qwen3 8B의 KV 캐시(16비트) |
|---|---|
| 8,192토큰 | 약 1.2GB |
| 32,768토큰 | 약 4.8GB |
| 40,960토큰(전체 컨텍스트) | 약 6.0GB |
이 모델처럼 그룹 쿼리 어텐션을 쓰는 모델은 어텐션 헤드보다 KV 헤드가 적어서(32개 대비 8개) 캐시가 이미 4분의 1로 줄어듭니다. 캐시를 양자화하면 더 아낄 수 있습니다. mlx-lm 서버는 --kv-bits 4를 받습니다(mlx-lm). 채팅이라면 컨텍스트 수천 토큰이면 충분하고, 에이전트나 긴 문서, 코드라면 몇 GB를 잡아 두세요.
4Mac에 들어가는 모델 크기
Mac의 메모리는 CPU와 GPU가 함께 쓰며, macOS는 기본적으로 GPU가 그중 일부만 쓰게 합니다. 저희 비교 페이지는 약 75%로 계산합니다. mlx-lm의 README에는 macOS 15 이상에서 sudo sysctl iogpu.wired_limit_mb=N으로 한도를 올리는 방법이 나와 있지만(mlx-lm), macOS와 다른 앱에도 여유가 필요합니다.
| Mac 메모리 | GPU 몫(약 75%) | 4비트 최대 모델 | 8비트 최대 모델 |
|---|---|---|---|
| 8GB | 6GB | 약 10B | 약 5B |
| 16GB | 12GB | 약 21B | 약 11B |
| 24GB | 18GB | 약 32B | 약 16B |
| 32GB | 24GB | 약 42B | 약 22B |
| 36GB | 27GB | 약 48B | 약 25B |
| 48GB | 36GB | 약 64B | 약 33B |
| 64GB | 48GB | 약 85B | 약 45B |
| 96GB | 72GB | 약 128B | 약 67B |
| 128GB | 96GB | 약 170B | 약 90B |
| 256GB | 192GB | 약 341B | 약 180B |
| 512GB | 384GB | 약 682B | 약 361B |
무엇이 들어가는지는 메모리가, 얼마나 빨리 쓰는지는 메모리 대역폭이 정합니다. 두 번째 이야기는 로컬 LLM용 Mac 추천에서 설명하고, 모든 Mac 순위에서 둘을 함께 볼 수 있습니다.
5RAM, VRAM, 통합 메모리
그래픽 카드가 있는 PC에서는 모델이 카드 자체의 메모리인 VRAM에 들어가야만 최대 속도로 돌아갑니다. RTX 5090은 32GB입니다(NVIDIA). 들어가지 않는 레이어는 PC의 시스템 RAM에서 돌릴 수 있지만, 그 메모리는 읽는 속도가 훨씬 느려서 모델이 크게 느려집니다.
Mac에는 별도의 VRAM이 없습니다. GPU가 CPU와 같은 통합 메모리를 읽기 때문에, 64GB나 128GB Mac은 일반 소비자용 그래픽 카드 한 장으로는 담을 수 없는 모델을 담을 수 있습니다. 이제 일부 PC도 같은 방식으로 작동합니다. NVIDIA의 DGX Spark나 CPU와 GPU가 128GB를 함께 쓰는 AMD Ryzen AI Max 기기가 그렇습니다. M5 Max vs DGX Spark와 M5 Max vs RTX 5090을 보세요.
6전문가 혼합(MoE) 모델
전문가 혼합 모델은 모든 파라미터를 메모리에 올리지만 토큰마다 그중 일부만 씁니다. 메모리는 전체 크기를, 속도는 활성 부분을 따릅니다. gpt-oss-20b는 파라미터 210억 개 중 36억 개가 활성입니다(OpenAI). 메모리는 21B 모델만큼 필요하고, 쓰는 속도는 4B 모델과 비슷합니다.
그래서 전문가 혼합 모델은 그래픽 카드에 비해 대역폭보다 메모리가 넉넉한 Mac에 잘 맞습니다. 비교에서 인기 모델마다 두 숫자를 모두 볼 수 있습니다.
7자주 묻는 질문
- 70B 모델을 돌리려면 RAM이 얼마나 필요한가요?
- 4비트 가중치에 약 39GB, 여기에 컨텍스트가 더해집니다. 실제로는 64GB 이상의 Mac이나 그래픽 카드 여러 장이 필요합니다. 8비트라면 약 74GB가 필요하므로 128GB입니다.
- 16GB RAM으로 LLM을 돌릴 수 있나요?
- 네, 4비트 기준 약 14B 파라미터까지의 모델이라면 됩니다. 16GB Mac은 기본적으로 GPU에 약 12GB를 줍니다. 8B 모델은 컨텍스트 여유를 두고도 넉넉하게 돌아갑니다. 16GB Mac에 맞는 최고의 LLM을 보세요.
- 8B 모델에는 VRAM이 얼마나 필요한가요?
- 4비트로 약 4.5GB, 8비트로 8.5GB, 16비트로 16GB이며, Qwen3 8B의 경우 8,000토큰 컨텍스트에 약 1.2GB가 더 필요합니다.
- 컨텍스트 길이도 메모리를 쓰나요?
- 네. KV 캐시는 대화의 토큰마다 커집니다. Qwen3 8B는 16비트 기준 토큰당 약 147KB로, 32,000토큰이면 약 4.8GB입니다.
- RAM보다 큰 모델을 돌릴 수 있나요?
- 쓸 만하게는 안 됩니다. 가중치가 들어가지 않으면 시스템이 스왑하거나 더 느린 메모리에서 읽어서 출력이 기어가듯 느려집니다. 더 낮은 정밀도, 더 작은 모델이나 전문가 혼합 모델을 쓰거나, 여러 대에 나눠 돌리세요. Mac AI 클러스터를 보세요.