정밀도별 메모리
| 버전 | 가중치 | 컨텍스트 포함 | 최소 사양 Mac |
|---|---|---|---|
| 8비트 | 4.2 GB | 5.7 GB | 8 GB |
| 6비트 | 3.2 GB | 4.7 GB | 8 GB |
| 4비트 | 2.2 GB | 3.7 GB | 8 GB |
| 3비트 품질 낮음 | 1.7 GB | 3.2 GB | 8 GB |
| 2비트 품질 낮음 | 1.2 GB | 2.7 GB | 8 GB |
모든 Apple 칩에서
칩마다 Nemotron-Labs Dory 1.0 4B 모델을 실행할 수 있는 가장 작은 메모리 용량, 거기에 맞는 최적의 버전, 예상 생성 속도입니다.
| 칩 | 필요량 | 버전 | 토큰/초 |
|---|---|---|---|
| M6 | 16 GB | 8비트 쾌적함 | 11–20 |
| M5 Ultra | 96 GB | 8비트 쾌적함 | 87–155 |
| M5 Max | 36 GB | 8비트 쾌적함 | 33–59 |
| M5 Pro | 24 GB | 8비트 쾌적함 | 22–40 |
| M5 | 16 GB | 8비트 쾌적함 | 11–20 |
| M4 Max | 36 GB | 8비트 쾌적함 | 30–53 |
| M4 Pro | 24 GB | 8비트 쾌적함 | 20–35 |
| M4 | 16 GB | 6비트 쾌적함 | 11–20 |
| M3 Ultra | 96 GB | 8비트 쾌적함 | 59–106 |
| M3 Max | 36 GB | 8비트 쾌적함 | 22–39 |
| M3 Pro | 18 GB | 8비트 쾌적함 | 11–19 |
| M3 | 8 GB | 6비트 쾌적함 | 10–17 |
| M2 Ultra | 64 GB | 8비트 쾌적함 | 58–103 |
| M2 Max | 32 GB | 8비트 쾌적함 | 29–52 |
| M2 Pro | 16 GB | 8비트 쾌적함 | 15–26 |
| M2 | 8 GB | 6비트 쾌적함 | 10–17 |
| M1 Ultra | 64 GB | 8비트 쾌적함 | 58–103 |
| M1 Max | 32 GB | 8비트 쾌적함 | 29–52 |
| M1 Pro | 16 GB | 8비트 쾌적함 | 15–26 |
| M1 | 8 GB | 8비트 느림 | 5–9 |
다른 사람들의 실측
다른 사람들이 자신의 Mac에서 직접 측정해 공개한 Nemotron-Labs Dory 1.0 4B의 생성 속도입니다. 제3자의 측정값으로, 저희 측정도 위의 추정치도 아닙니다.
| Mac | 런타임 | 정밀도 | 디코드 tok/s | 출처 |
|---|---|---|---|---|
| MacBook Pro M5 Max 128 GB | dory-mlx | 8-bit (MLX) | 69 | NetProjects @netprojects |
| MacBook Pro M5 Max 128 GB | dory-mlx | 8-bit (MLX) | 54컨텍스트 32K에서 | NetProjects @netprojects |
결과는 런타임과 설정에 따라 달라집니다. 버전, 정밀도, 컨텍스트 길이, 프롬프트, 추론 켜기·끄기가 모두 속도를 바꿉니다.
실행하는 방법
단계별 안내: Mac에서 LLM 다운로드하고 실행하기 · MLX vs Ollama vs llama.cpp
터미널보다 앱이 편하다면, AI App Store에서 로컬 모델을 실행하는 Mac 앱을 비교해 보세요. 가격, 라이선스, 데이터가 어디로 가는지까지.
Nemotron-Labs Dory 1.0 4B 정보
| 개발사 | NVIDIA |
|---|---|
| 파라미터 | 3.98B(밀집형) |
| 컨텍스트 | 256K토큰 |
| 라이선스 | OpenMDW-1.1 |
| 출시 | 2026-10 |
| 입력 | 텍스트 |
| 가중치 | nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 |
자주 묻는 질문
- Nemotron-Labs Dory 1.0 4B 모델에는 메모리가 얼마나 필요한가요?
- 4비트에서 가중치가 약 2.2 GB이고, 컨텍스트 여유까지 더하면 모두 3.7 GB입니다. macOS는 기본적으로 GPU가 통합 메모리의 약 75%를 쓰도록 허용하므로, Mac에서는 통합 메모리가 8GB 이상 필요합니다.
- Mac에서 Nemotron-Labs Dory 1.0 4B 모델은 얼마나 빠른가요?
- 생성 속도는 메모리 대역폭에 달려 있습니다. 여기서 가장 빠른 Mac은 96GB M5 Ultra로, 초당 약 87–155토큰입니다(8비트). 실행할 수 있는 최소 사양 Mac인 8GB M3에서는 초당 약 10–17토큰입니다.
- 양자화하면 Nemotron-Labs Dory 1.0 4B 모델의 품질이 떨어지나요?
- 4비트에서는 대부분의 모델이 원래 품질에 가깝습니다. 4비트 아래로 내려가면 품질이 더 빠르게 떨어집니다. 내 Mac에 여유 있게 들어가는 가장 높은 정밀도를 고르세요.
비슷한 모델
- Nemotron 3 Nano 4B8GB부터
- Nemotron 3 Nano 30B A3B32GB부터
- Nemotron 3.5 Lightning 30B A3B32GB부터
- Qwen3.5 4B8GB부터
- Spark-X2.6 4B8GB부터
- Phi-4 mini instruct8GB부터
모든 모델 · 모든 Mac · 내 Mac 비교하기
모델 카드나 README용
Nemotron-Labs Dory 1.0 4B 모델을 쾌적하게 실행하는 최소 사양 Mac을 보여 주고 이 페이지로 연결합니다.
[](https://mlx.app/run/nemotron-labs-dory-1.0-4b)계산 방법
메모리: 모델 파라미터를 가중치당 8, 6, 4, 3, 2비트로 계산하고 MLX의 그룹 스케일(가중치당 0.5비트)을 더하거나 네이티브 형식 그대로 계산한 뒤, 컨텍스트를 위한 여유를 더했습니다. macOS는 기본적으로 GPU가 통합 메모리의 약 75%를 쓰도록 허용합니다. 속도: 메모리 대역폭을 토큰당 읽는 바이트 수로 나눈 값이 한 대화의 상한입니다. llama.cpp의 Apple Silicon 공개 벤치마크에서 실제 속도는 그 상한의 약 45~80%였고, 여기 표시한 범위가 바로 그 값입니다. 측정값이 아닌 추정값이니, 내 Mac은 MLX Bench에서 직접 측정해 보세요. 모델 수치는 각 공식 모델 카드, 칩 수치는 Apple 기술 사양에서 가져왔습니다. 2026-10-19 확인. mlx.app/compare와 같은 데이터입니다.
공개 데이터: mlx.app/data (JSON, CSV)