쾌적하게 실행 14
컨텍스트 여유를 두고 들어가며, 초당 10토큰 이상입니다.
| 모델 | 버전 | 메모리 | 토큰/초 |
|---|---|---|---|
| MiniCPM5 2B2.52B · 지능 12.5 | 8비트 | 2.7 GB | 11–20 |
| Granite 4.2 3B3B · 지능 9.1 | 8비트 | 3.2 GB | 10–17 |
| Gemma 4 E4B8B · 지능 8.9 | 4비트 | 4.5 GB | 12–22 |
| Nemotron 3 Nano 4B3.97B · 지능 4.8 | 6비트 | 3.2 GB | 10–17 |
| Gemma 4 E2B5.1B | 6비트 | 4.1 GB | 16–29 |
| Qwen3.5 4B4B | 4비트 | 2.3 GB | 13–24 |
| Phi-4 mini instruct3.8B | 6비트 | 3.1 GB | 10–18 |
| Llama 3.2 3B Instruct3.21B | 6비트 | 2.6 GB | 12–21 |
| SmolLM3 3B3B | 8비트 | 3.2 GB | 10–17 |
| LFM2.5 2.6B2.69B | 8비트 | 2.9 GB | 11–19 |
| Qwen3.5 2B2B | 8비트 | 2.1 GB | 15–26 |
| Llama 3.2 1B Instruct1.23B | 8비트 | 1.3 GB | 24–42 |
| Qwen3.5 0.8B0.8B | 8비트 | 0.9 GB | 34–60 |
| Qwen3 0.6B0.6B | 8비트 | 0.6 GB | 51–91 |
실행되지만 느림 7
들어가지만 초당 10토큰 미만입니다. 일괄 작업에는 괜찮지만 채팅에는 느립니다.
| 모델 | 버전 | 메모리 | 토큰/초 |
|---|---|---|---|
| Granite 4.2 8B8B · 지능 11.1 | 4비트 | 4.5 GB | 7–12 |
| Llama 3.1 8B Instruct8B | 4비트 | 4.5 GB | 7–12 |
| Qwen3.5 9B9B · 지능 11.2 | 3비트 품질 낮음 | 3.9 GB | 8–14 |
| Ministral 3 8B8.9B · 지능 5.5 | 3비트 품질 낮음 | 3.9 GB | 8–14 |
| Phi-4 (14B)14B | 2비트 품질 낮음 | 4.4 GB | 7–12 |
| Gemma 4 12B Unified12B | 2비트 품질 낮음 | 3.7 GB | 8–15 |
| Qwen3 8B8.2B | 3비트 품질 낮음 | 3.6 GB | 9–15 |
겨우 들어감 1
메모리를 거의 다 씁니다. GPU 메모리 한도를 올리고 컨텍스트를 짧게 유지하세요.
| 모델 | 버전 | 메모리 | 토큰/초 |
|---|---|---|---|
| Phi-4 Reasoning Vision 15B15B | 2비트 품질 낮음 | 4.7 GB | 7–12 |
너무 큼 51
2비트로도 8GB보다 많은 메모리가 필요합니다.
- MiMo V2.6 Pro1,020B
- Kimi K32,800B
- MiMo V2.6 Flash309B
- Kimi K2.7 Code1,000B
- gpt-oss-120b117B
- gpt-oss-20b21B
- Kimi K2.61,000B
- DeepSeek V4.1 Flash 1017552B
- GLM-5.3744B
- GLM-5.3 Flash320B
- Qwen3.8 2.4T A95B2,400B
- Qwen3.8 Flash Next180B
- Muse Spark Open816B
- DeepSeek V4 Pro 08131,600B
- Qwen3.8 27B27B
- Beam 1.0501B
- MiniMax M3428B
- Inkling Small276B
- Hy3295B
- Inkling975B
- Nemotron 3 Ultra 550B A55B550B
- Nemotron 3.5 Bolt 74B A9B74B
- Qwen3.5 397B A17B397B
- Qwen3.6 35B A3B35B
- Muse Glimmer 30B29.6B
- Qwen3.5 122B A10B122B
- Gemma 4 31B30.7B
- Mistral Medium 3.5 (128B)128B
- Nemotron 3.5 Lightning 30B A3B30B
- Granite 4.2 30B30B
- Mistral Small 4 (119B)119B
- Llama 4 Maverick 17B-128E Instruct400B
- Qwen3 Coder Next80B
- Nemotron 3 Nano 30B A3B30B
- Llama 4 Scout 17B-16E Instruct109B
- Mistral Large 3 (675B)675B
- DeepSeek V4 Flash 0731284B
- MiniMax M2.7230B
- Devstral 2 (123B)123B
- Ornith 1.5 122B122B
- Nemotron 3 Super 120B A12B120B
- GLM-4.5 Air106B
- Llama 3.3 70B Instruct70B
- Qwen3 Coder 30B A3B Instruct30.5B
- GLM-4.7 Flash30B
- Qwen3.6 27B27B
- Gemma 4 26B A4B25.2B
- Devstral Small 2 (24B)24B
- Magistral Small 1.2 (2509)24B
- Mistral Small 3.2 (24B)24B
- LFM2.5 24B A2B24B
다른 Mac
칩과 관계없이 8GB인 모든 Mac.
메모리가 더 많거나 적은 M1:
가까운 칩:
1:1 비교:
어떤 Mac이나 GPU와도 비교하기 · 로컬 AI를 위한 M1 · 로컬 LLM에 가장 좋은 Mac · 모든 Mac
자주 묻는 질문
- 8GB M1에 가장 좋은 LLM은 무엇인가요?
- Intelligence Index가 공개된 모델 중, 여기서 쾌적하게 실행되는 모델 가운데 점수가 가장 높은 것은 MiniCPM5 2B입니다. 8비트, 초당 약 11–20토큰. 쾌적하게 실행되는 가장 큰 모델은 Gemma 4 E4B입니다.
- 8GB M1에서 Llama 3.3 70B를 실행할 수 있나요?
- 아니요. 2비트로도 GPU가 기본으로 쓸 수 있는 6GB보다 더 필요합니다.
- M1에서 gpt-oss-20b는 얼마나 빠른가요?
- 8GB에는 들어가지 않습니다.
MLX Harness(무료, 오픈 소스)나 터미널에서 Apple의 mlx-lm으로 실행하세요: 단계별 안내.
계산 방법
메모리: 모델 파라미터를 가중치당 8, 6, 4, 3, 2비트로 계산하고 MLX의 그룹 스케일(가중치당 0.5비트)을 더하거나 네이티브 형식 그대로 계산한 뒤, 컨텍스트를 위한 여유를 더했습니다. macOS는 기본적으로 GPU가 통합 메모리의 약 75%를 쓰도록 허용합니다. 속도: 메모리 대역폭을 토큰당 읽는 바이트 수로 나눈 값이 한 대화의 상한입니다. llama.cpp의 Apple Silicon 공개 벤치마크에서 실제 속도는 그 상한의 약 45~80%였고, 여기 표시한 범위가 바로 그 값입니다. 측정값이 아닌 추정값이니, 내 Mac은 MLX Bench에서 직접 측정해 보세요. 모델 수치는 각 공식 모델 카드, 칩 수치는 Apple 기술 사양에서 가져왔습니다. 2026-10-19 확인. mlx.app/compare와 같은 데이터입니다.