各种精度所需内存
| 版本 | 权重 | 含上下文 | 最低配置 Mac |
|---|---|---|---|
| 8 位 | 4.2 GB | 5.7 GB | 8 GB |
| 6 位 | 3.2 GB | 4.7 GB | 8 GB |
| 4 位 | 2.2 GB | 3.7 GB | 8 GB |
| 3 位 质量较低 | 1.7 GB | 3.2 GB | 8 GB |
| 2 位 质量较低 | 1.2 GB | 2.7 GB | 8 GB |
在每款 Apple 芯片上
每款芯片能运行 Nemotron-Labs Dory 1.0 4B 的最小内存容量、装得下的最佳版本，以及预计的生成速度。
| 芯片 | 需要 | 版本 | token/秒 |
|---|---|---|---|
| M6 | 16 GB | 8 位 流畅运行 | 11–20 |
| M5 Ultra | 96 GB | 8 位 流畅运行 | 87–155 |
| M5 Max | 36 GB | 8 位 流畅运行 | 33–59 |
| M5 Pro | 24 GB | 8 位 流畅运行 | 22–40 |
| M5 | 16 GB | 8 位 流畅运行 | 11–20 |
| M4 Max | 36 GB | 8 位 流畅运行 | 30–53 |
| M4 Pro | 24 GB | 8 位 流畅运行 | 20–35 |
| M4 | 16 GB | 6 位 流畅运行 | 11–20 |
| M3 Ultra | 96 GB | 8 位 流畅运行 | 59–106 |
| M3 Max | 36 GB | 8 位 流畅运行 | 22–39 |
| M3 Pro | 18 GB | 8 位 流畅运行 | 11–19 |
| M3 | 8 GB | 6 位 流畅运行 | 10–17 |
| M2 Ultra | 64 GB | 8 位 流畅运行 | 58–103 |
| M2 Max | 32 GB | 8 位 流畅运行 | 29–52 |
| M2 Pro | 16 GB | 8 位 流畅运行 | 15–26 |
| M2 | 8 GB | 6 位 流畅运行 | 10–17 |
| M1 Ultra | 64 GB | 8 位 流畅运行 | 58–103 |
| M1 Max | 32 GB | 8 位 流畅运行 | 29–52 |
| M1 Pro | 16 GB | 8 位 流畅运行 | 15–26 |
| M1 | 8 GB | 8 位 较慢 | 5–9 |
他人实测
其他人在自己的 Mac 上实测并公开发布的 Nemotron-Labs Dory 1.0 4B 生成速度。这些是第三方测量，不是我们测的，也不是上面的估算。
| Mac | 运行时 | 精度 | 解码 tok/s | 来源 |
|---|---|---|---|---|
| MacBook Pro M5 Max 128 GB | dory-mlx | 8-bit (MLX) | 69 | NetProjects @netprojects |
| MacBook Pro M5 Max 128 GB | dory-mlx | 8-bit (MLX) | 54上下文 32K 时 | NetProjects @netprojects |
结果因运行时和设置而异：版本、精度、上下文长度、提示词以及是否开启推理都会改变速度。
如何运行
在终端中使用 Apple 的 MLX： 标准版 mlx-lm 目前还无法加载这个模型（ml-explore/mlx-lm#1988），请按该版本模型卡上的说明操作。版本：Hugging Face 上的 snsnc/NVIDIA-Nemotron-Labs-Dory1.0-4B-mlx-4bit。其他精度的版本就在旁边。
分步指南：在 Mac 上下载并运行 LLM · MLX、Ollama 与 llama.cpp 对比
比起终端更喜欢用 App？在 AI App Store 比较能在本地运行模型的 Mac App：价格、许可证，以及你的数据去向。
关于 Nemotron-Labs Dory 1.0 4B
| 开发者 | NVIDIA |
|---|---|
| 参数 | 3.98B（稠密） |
| 上下文 | 256K token |
| 许可证 | OpenMDW-1.1 |
| 发布时间 | 2026-10 |
| 输入 | 文本 |
| 权重 | nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 |
常见问题
- Nemotron-Labs Dory 1.0 4B 需要多少内存？
- 在 4 位 下权重约 2.2 GB，再加上上下文空间，总共 3.7 GB。在 Mac 上，这意味着需要 8 GB 或以上的统一内存，因为 macOS 默认允许 GPU 使用约 75% 的统一内存。
- Nemotron-Labs Dory 1.0 4B 在 Mac 上有多快？
- 生成速度取决于内存带宽。本页中运行它最快的 Mac 是 96 GB 的 M5 Ultra，每秒约 87–155 个 token（8 位）。能运行它的最低配置 Mac 是 8 GB 的 M3，每秒约 10–17 个。
- 量化会影响 Nemotron-Labs Dory 1.0 4B 的质量吗？
- 在 4 位时，大多数模型的质量接近原版；低于 4 位，质量下降更快。选择能装进你的 Mac 并留有余量的最高精度。
类似模型
用于你的模型卡或 README
显示能流畅运行 Nemotron-Labs Dory 1.0 4B 的最低配置 Mac，并链接到本页。
[](https://mlx.app/run/nemotron-labs-dory-1.0-4b)计算方法
内存：模型参数按每个权重 8、6、4、3 或 2 位计算，加上 MLX 的分组缩放（每个权重半位），或按其原生格式计算，再留出上下文空间。macOS 默认允许 GPU 使用约 75% 的统一内存。速度：内存带宽除以每个 token 读取的字节数，就是单个对话的上限；在 llama.cpp 的 Apple Silicon 公开基准测试中，实际运行可达这个上限的约 45% 到 80%，本页显示的就是这个范围。这些是估算值，不是实测值：可以在 MLX Bench 上测量你自己的 Mac。模型数据来自各模型的官方模型卡，芯片数据来自 Apple 的技术规格。核对于 2026-10-19。数据与 mlx.app/compare 相同。
开放数据: mlx.app/data (JSON, CSV)