16GB M2에 가장 좋은 LLM은 무엇인가요?

Intelligence Index가 공개된 모델 중, 여기서 쾌적하게 실행되는 모델 가운데 점수가 가장 높은 것은 MiniCPM5 2B입니다. 8비트, 초당 약 17–30토큰. 쾌적하게 실행되는 가장 큰 모델은 Qwen3 8B입니다.

16GB M2에서 Llama 3.3 70B를 실행할 수 있나요?

아니요. 2비트로도 GPU가 기본으로 쓸 수 있는 12GB보다 더 필요합니다.

M2에서 gpt-oss-20b는 얼마나 빠른가요?

초당 약 28–50토큰(3비트)으로, 칩의 메모리 대역폭 100GB/s에서 계산했습니다.

16GB M2에서 실행되는 LLM은? 모든 모델과 속도

쾌적하게 실행 24

컨텍스트 여유를 두고 들어가며, 초당 10토큰 이상입니다.

모델	버전	메모리	토큰/초
MiniCPM5 2B2.52B · 지능 12.5	8비트	2.7 GB	17–30
Granite 4.2 8B8B · 지능 11.1	4비트	4.5 GB	10–18
Granite 4.2 3B3B · 지능 9.1	8비트	3.2 GB	14–25
Gemma 4 E4B8B · 지능 8.9	6비트	6.5 GB	12–22
Nemotron 3 Nano 4B3.97B · 지능 4.8	8비트	4.2 GB	11–19
Qwen3 8B8.2B	4비트	4.6 GB	10–17
Llama 3.1 8B Instruct8B	4비트	4.5 GB	10–18
Gemma 4 E2B5.1B	8비트	5.4 GB	19–33
Qwen3.5 4B4B	8비트	4.3 GB	10–19
Phi-4 mini instruct3.8B	8비트	4 GB	11–20
Llama 3.2 3B Instruct3.21B	8비트	3.4 GB	13–24
SmolLM3 3B3B	8비트	3.2 GB	14–25
LFM2.5 2.6B2.69B	8비트	2.9 GB	16–28
Qwen3.5 2B2B	8비트	2.1 GB	21–38
Llama 3.2 1B Instruct1.23B	8비트	1.3 GB	35–62
Qwen3.5 0.8B0.8B	8비트	0.9 GB	50–89
Qwen3 0.6B0.6B	8비트	0.6 GB	75–133
Nemotron 3.5 Lightning 30B A3B30B · 활성 3B · 지능 12.9	2비트 품질 낮음	9.4 GB	50–89
gpt-oss-20b21B · 활성 3.6B · 지능 9	3비트 품질 낮음	9.2 GB	28–50
Nemotron 3 Nano 30B A3B30B · 활성 3.5B · 지능 8.9	2비트 품질 낮음	9.4 GB	41–73
Qwen3 Coder 30B A3B Instruct30.5B · 활성 3.3B	2비트 품질 낮음	9.5 GB	45–80
GLM-4.7 Flash30B · 활성 3B	2비트 품질 낮음	9.4 GB	50–89
Gemma 4 26B A4B25.2B · 활성 3.8B	2비트 품질 낮음	7.9 GB	38–67
LFM2.5 24B A2B24B · 활성 2B	3비트 품질 낮음	10.5 GB	50–89

실행되지만 느림 13

들어가지만 초당 10토큰 미만입니다. 일괄 작업에는 괜찮지만 채팅에는 느립니다.

모델	버전	메모리	토큰/초
Qwen3.5 9B9B · 지능 11.2	8비트	9.6 GB	5–8
Ministral 3 8B8.9B · 지능 5.5	8비트	9.5 GB	5–8
Phi-4 Reasoning Vision 15B15B	4비트	8.4 GB	5–10
Phi-4 (14B)14B	4비트	7.9 GB	6–10
Gemma 4 12B Unified12B	6비트	9.7 GB	5–8
Qwen3.8 27B27B · 지능 33.7	2비트 품질 낮음	8.4 GB	5–10
Muse Glimmer 30B29.6B · 지능 17.5	2비트 품질 낮음	9.3 GB	5–9
Gemma 4 31B30.7B · 지능 14.7	2비트 품질 낮음	9.6 GB	5–8
Granite 4.2 30B30B · 지능 12.7	2비트 품질 낮음	9.4 GB	5–9
Qwen3.6 27B27B	2비트 품질 낮음	8.4 GB	5–10
Devstral Small 2 (24B)24B	3비트 품질 낮음	10.5 GB	4–8
Magistral Small 1.2 (2509)24B	3비트 품질 낮음	10.5 GB	4–8
Mistral Small 3.2 (24B)24B	3비트 품질 낮음	10.5 GB	4–8

겨우 들어감 1

메모리를 거의 다 씁니다. GPU 메모리 한도를 올리고 컨텍스트를 짧게 유지하세요.

모델	버전	메모리	토큰/초
Qwen3.6 35B A3B35B · 활성 3B · 지능 18.2	2비트 품질 낮음	10.9 GB	50–89

다른 Mac

칩과 관계없이 16GB인 모든 Mac.

메모리가 더 많거나 적은 M2:

가까운 칩:

1:1 비교:

어떤 Mac이나 GPU와도 비교하기 · 로컬 AI를 위한 M2 · 로컬 LLM에 가장 좋은 Mac · 모든 Mac

자주 묻는 질문

16GB M2에 가장 좋은 LLM은 무엇인가요?: Intelligence Index가 공개된 모델 중, 여기서 쾌적하게 실행되는 모델 가운데 점수가 가장 높은 것은 MiniCPM5 2B입니다. 8비트, 초당 약 17–30토큰. 쾌적하게 실행되는 가장 큰 모델은 Qwen3 8B입니다.
16GB M2에서 Llama 3.3 70B를 실행할 수 있나요?: 아니요. 2비트로도 GPU가 기본으로 쓸 수 있는 12GB보다 더 필요합니다.
M2에서 gpt-oss-20b는 얼마나 빠른가요?: 초당 약 28–50토큰(3비트)으로, 칩의 메모리 대역폭 100GB/s에서 계산했습니다.

MLX Harness(무료, 오픈 소스)나 터미널에서 Apple의 mlx-lm으로 실행하세요: 단계별 안내.

계산 방법

메모리: 모델 파라미터를 가중치당 8, 6, 4, 3, 2비트로 계산하고 MLX의 그룹 스케일(가중치당 0.5비트)을 더하거나 네이티브 형식 그대로 계산한 뒤, 컨텍스트를 위한 여유를 더했습니다. macOS는 기본적으로 GPU가 통합 메모리의 약 75%를 쓰도록 허용합니다. 속도: 메모리 대역폭을 토큰당 읽는 바이트 수로 나눈 값이 한 대화의 상한입니다. llama.cpp의 Apple Silicon 공개 벤치마크에서 실제 속도는 그 상한의 약 45~80%였고, 여기 표시한 범위가 바로 그 값입니다. 측정값이 아닌 추정값이니, 내 Mac은 MLX Bench에서 직접 측정해 보세요. 모델 수치는 각 공식 모델 카드, 칩 수치는 Apple 기술 사양에서 가져왔습니다. 2026-10-19 확인. mlx.app/compare와 같은 데이터입니다.

16GB M2에서는 무엇을 실행할 수 있을까?