各種精度所需記憶體
| 版本 | 權重 | 含上下文 | 最低配備 Mac |
|---|---|---|---|
| 8 位元 | 4.2 GB | 5.7 GB | 8 GB |
| 6 位元 | 3.2 GB | 4.7 GB | 8 GB |
| 4 位元 | 2.2 GB | 3.7 GB | 8 GB |
| 3 位元 品質較低 | 1.7 GB | 3.2 GB | 8 GB |
| 2 位元 品質較低 | 1.2 GB | 2.7 GB | 8 GB |
在每款 Apple 晶片上
每款晶片能執行 Nemotron-Labs Dory 1.0 4B 的最小記憶體容量、放得下的最佳版本，以及預期的產生速度。
| 晶片 | 需要 | 版本 | token/秒 |
|---|---|---|---|
| M6 | 16 GB | 8 位元 順暢執行 | 11–20 |
| M5 Ultra | 96 GB | 8 位元 順暢執行 | 87–155 |
| M5 Max | 36 GB | 8 位元 順暢執行 | 33–59 |
| M5 Pro | 24 GB | 8 位元 順暢執行 | 22–40 |
| M5 | 16 GB | 8 位元 順暢執行 | 11–20 |
| M4 Max | 36 GB | 8 位元 順暢執行 | 30–53 |
| M4 Pro | 24 GB | 8 位元 順暢執行 | 20–35 |
| M4 | 16 GB | 6 位元 順暢執行 | 11–20 |
| M3 Ultra | 96 GB | 8 位元 順暢執行 | 59–106 |
| M3 Max | 36 GB | 8 位元 順暢執行 | 22–39 |
| M3 Pro | 18 GB | 8 位元 順暢執行 | 11–19 |
| M3 | 8 GB | 6 位元 順暢執行 | 10–17 |
| M2 Ultra | 64 GB | 8 位元 順暢執行 | 58–103 |
| M2 Max | 32 GB | 8 位元 順暢執行 | 29–52 |
| M2 Pro | 16 GB | 8 位元 順暢執行 | 15–26 |
| M2 | 8 GB | 6 位元 順暢執行 | 10–17 |
| M1 Ultra | 64 GB | 8 位元 順暢執行 | 58–103 |
| M1 Max | 32 GB | 8 位元 順暢執行 | 29–52 |
| M1 Pro | 16 GB | 8 位元 順暢執行 | 15–26 |
| M1 | 8 GB | 8 位元 較慢 | 5–9 |
他人實測
其他人在自己的 Mac 上實測並公開發布的 Nemotron-Labs Dory 1.0 4B 生成速度。這些是第三方測量，不是我們測的，也不是上面的估算。
| Mac | 執行環境 | 精度 | 解碼 tok/s | 來源 |
|---|---|---|---|---|
| MacBook Pro M5 Max 128 GB | dory-mlx | 8-bit (MLX) | 69 | NetProjects @netprojects |
| MacBook Pro M5 Max 128 GB | dory-mlx | 8-bit (MLX) | 54上下文 32K 時 | NetProjects @netprojects |
結果因執行環境和設定而異：版本、精度、上下文長度、提示詞以及是否開啟推理都會改變速度。
如何執行
在「終端機」中使用 Apple 的 MLX： 標準版 mlx-lm 目前還無法載入這個模型（ml-explore/mlx-lm#1988），請依該版本模型卡上的說明操作。版本：Hugging Face 上的 snsnc/NVIDIA-Nemotron-Labs-Dory1.0-4B-mlx-4bit。其他精度的版本就在旁邊。
逐步教學：在 Mac 上下載並執行 LLM · MLX、Ollama 與 llama.cpp 比較
比起終端機更喜歡用 App？在 AI App Store 比較能在本機執行模型的 Mac App：價格、授權，以及你的資料去向。
關於 Nemotron-Labs Dory 1.0 4B
| 開發者 | NVIDIA |
|---|---|
| 參數 | 3.98B（稠密） |
| 上下文 | 256K token |
| 授權條款 | OpenMDW-1.1 |
| 發布時間 | 2026-10 |
| 輸入 | 文字 |
| 權重 | nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 |
常見問題
- Nemotron-Labs Dory 1.0 4B 需要多少記憶體？
- 在 4 位元 下權重約 2.2 GB，再加上上下文空間，總共 3.7 GB。在 Mac 上，這代表需要 8 GB 以上的統一記憶體，因為 macOS 預設讓 GPU 使用約 75% 的統一記憶體。
- Nemotron-Labs Dory 1.0 4B 在 Mac 上有多快？
- 產生速度取決於記憶體頻寬。本頁中執行它最快的 Mac 是 96 GB 的 M5 Ultra，每秒約 87–155 個 token（8 位元）。能執行它的最低配備 Mac 是 8 GB 的 M3，每秒約 10–17 個。
- 量化會影響 Nemotron-Labs Dory 1.0 4B 的品質嗎？
- 在 4 位元時，大多數模型的品質接近原版；低於 4 位元，品質下降得更快。請選擇放得進你的 Mac、且仍留有餘裕的最高精度。
類似模型
用於你的模型卡或 README
顯示能順暢執行 Nemotron-Labs Dory 1.0 4B 的最低配備 Mac，並連結到本頁。
[](https://mlx.app/run/nemotron-labs-dory-1.0-4b)計算方式
記憶體：模型參數以每個權重 8、6、4、3 或 2 位元計算，加上 MLX 的分組縮放（每個權重半個位元），或依其原生格式計算，再留出上下文空間。macOS 預設讓 GPU 使用約 75% 的統一記憶體。速度：記憶體頻寬除以每個 token 讀取的位元組數，就是單一對話的上限；在 llama.cpp 的 Apple Silicon 公開效能測試中，實際執行可達這個上限的約 45% 到 80%，本頁顯示的就是這個範圍。這些是估算值，不是實測值：可以到 MLX Bench 測量你自己的 Mac。模型數據來自各模型的官方模型卡，晶片數據來自 Apple 的技術規格。核對於 2026-10-19。數據與 mlx.app/compare 相同。
開放資料: mlx.app/data (JSON, CSV)