各种精度所需内存
| 版本 | 权重 | 含上下文 | 最低配置 Mac |
|---|---|---|---|
| 8 位 | 78.6 GB | 84.9 GB | 128 GB |
| 6 位 | 60.1 GB | 64.9 GB | 96 GB |
| 4 位 | 41.6 GB | 44.9 GB | 64 GB |
| 3 位 质量较低 | 32.4 GB | 35 GB | 48 GB |
| 2 位 质量较低 | 23.1 GB | 24.9 GB | 36 GB |
在每款 Apple 芯片上
每款芯片能运行 Nemotron 3.5 Bolt 74B A9B 的最小内存容量、装得下的最佳版本，以及预计的生成速度。
| 芯片 | 需要 | 版本 | token/秒 |
|---|---|---|---|
| M6 | 32 GB | 2 位 勉强 | 27–49 |
| M5 Ultra | 96 GB | 6 位 流畅运行 | 74–132 |
| M5 Max | 64 GB | 4 位 流畅运行 | 54–96 |
| M5 Pro | 64 GB | 4 位 流畅运行 | 27–48 |
| M5 | 32 GB | 2 位 勉强 | 25–44 |
| M4 Max | 64 GB | 4 位 流畅运行 | 48–86 |
| M4 Pro | 64 GB | 4 位 流畅运行 | 24–43 |
| M4 | 32 GB | 2 位 勉强 | 19–34 |
| M3 Ultra | 96 GB | 6 位 流畅运行 | 50–90 |
| M3 Max | 64 GB | 4 位 流畅运行 | 35–63 |
| M3 Pro | 36 GB | 2 位 流畅运行 | 24–43 |
| M3 | 没有合适的容量 | 太大 | – |
| M2 Ultra | 64 GB | 4 位 流畅运行 | 71–125 |
| M2 Max | 64 GB | 4 位 流畅运行 | 35–63 |
| M2 Pro | 32 GB | 2 位 勉强 | 32–57 |
| M2 | 没有合适的容量 | 太大 | – |
| M1 Ultra | 64 GB | 4 位 流畅运行 | 71–125 |
| M1 Max | 64 GB | 4 位 流畅运行 | 35–63 |
| M1 Pro | 32 GB | 2 位 勉强 | 32–57 |
| M1 | 没有合适的容量 | 太大 | – |
如何运行
- 最简单的方法：下载免费开源的 MLX Harness。搜索 Nemotron 3.5 Bolt 74B A9B，下载适合你 Mac 的版本，即可开始对话。它还能通过 OpenAI 兼容 API 把模型提供给你的其他 App。下载 MLX Harness免费 · Apple Silicon · macOS 14.5 或更高版本
- 在终端中使用 Apple 的 MLX： 目前还没有社区制作的 MLX 版本，可以用官方权重自己转换：
pip install mlx-lmmlx_lm.convert --hf-path nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 -q
分步指南：在 Mac 上下载并运行 LLM · 如何使用 MLX Harness · MLX、Ollama 与 llama.cpp 对比
关于 Nemotron 3.5 Bolt 74B A9B
| 开发者 | NVIDIA |
|---|---|
| 参数 | 共 74B · 激活 9B（混合专家） |
| 上下文 | 256K token |
| 许可证 | OpenMDW-1.1 |
| 发布时间 | 2026-10 |
| 输入 | 文本和图像 |
| 智能 | Artificial Analysis Intelligence Index 得分 21.4 |
| 权重 | nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 |
常见问题
- Nemotron 3.5 Bolt 74B A9B 需要多少内存？
- 在 4 位 下权重约 41.6 GB，再加上上下文空间，总共 44.9 GB。在 Mac 上，这意味着需要 64 GB 或以上的统一内存，因为 macOS 默认允许 GPU 使用约 75% 的统一内存。
- Nemotron 3.5 Bolt 74B A9B 在 Mac 上有多快？
- 生成速度取决于内存带宽。本页中运行它最快的 Mac 是 96 GB 的 M5 Ultra，每秒约 74–132 个 token（6 位）。能运行它的最低配置 Mac 是 64 GB 的 M2 Ultra，每秒约 71–125 个。
- 为什么 Nemotron 3.5 Bolt 74B A9B 运行起来比它的规模显示的更快？
- 它是混合专家模型：内存中保存 74B 参数，但每个 token 只读取 9B，所以生成速度相当于小得多的模型。
类似模型
用于你的模型卡或 README
显示能流畅运行 Nemotron 3.5 Bolt 74B A9B 的最低配置 Mac，并链接到本页。
[](https://mlx.app/run/nemotron-3.5-bolt-74b-a9b)计算方法
内存：模型参数按每个权重 8、6、4、3 或 2 位计算，加上 MLX 的分组缩放（每个权重半位），或按其原生格式计算，再留出上下文空间。macOS 默认允许 GPU 使用约 75% 的统一内存。速度：内存带宽除以每个 token 读取的字节数，就是单个对话的上限；在 llama.cpp 的 Apple Silicon 公开基准测试中，实际运行可达这个上限的约 45% 到 80%，本页显示的就是这个范围。这些是估算值，不是实测值：可以在 MLX Bench 上测量你自己的 Mac。模型数据来自各模型的官方模型卡，芯片数据来自 Apple 的技术规格。核对于 2026-10-19。数据与 mlx.app/compare 相同。