Bộ nhớ ở từng mức chính xác
| Phiên bản | Trọng số | Kèm ngữ cảnh | Mac nhỏ nhất |
|---|---|---|---|
| 8-bit | 4,2 GB | 5,7 GB | 8 GB |
| 6-bit | 3,2 GB | 4,7 GB | 8 GB |
| 4-bit | 2,2 GB | 3,7 GB | 8 GB |
| 3-bit chất lượng thấp hơn | 1,7 GB | 3,2 GB | 8 GB |
| 2-bit chất lượng thấp hơn | 1,2 GB | 2,7 GB | 8 GB |
Trên mọi chip Apple
Dung lượng bộ nhớ nhỏ nhất của mỗi chip chạy được Nemotron-Labs Dory 1.0 4B, phiên bản tốt nhất vừa với nó, và tốc độ viết bạn có thể kỳ vọng.
| Chip | Cần | Phiên bản | Token/giây |
|---|---|---|---|
| M6 | 16 GB | 8-bit Chạy tốt | 11–20 |
| M5 Ultra | 96 GB | 8-bit Chạy tốt | 87–155 |
| M5 Max | 36 GB | 8-bit Chạy tốt | 33–59 |
| M5 Pro | 24 GB | 8-bit Chạy tốt | 22–40 |
| M5 | 16 GB | 8-bit Chạy tốt | 11–20 |
| M4 Max | 36 GB | 8-bit Chạy tốt | 30–53 |
| M4 Pro | 24 GB | 8-bit Chạy tốt | 20–35 |
| M4 | 16 GB | 6-bit Chạy tốt | 11–20 |
| M3 Ultra | 96 GB | 8-bit Chạy tốt | 59–106 |
| M3 Max | 36 GB | 8-bit Chạy tốt | 22–39 |
| M3 Pro | 18 GB | 8-bit Chạy tốt | 11–19 |
| M3 | 8 GB | 6-bit Chạy tốt | 10–17 |
| M2 Ultra | 64 GB | 8-bit Chạy tốt | 58–103 |
| M2 Max | 32 GB | 8-bit Chạy tốt | 29–52 |
| M2 Pro | 16 GB | 8-bit Chạy tốt | 15–26 |
| M2 | 8 GB | 6-bit Chạy tốt | 10–17 |
| M1 Ultra | 64 GB | 8-bit Chạy tốt | 58–103 |
| M1 Max | 32 GB | 8-bit Chạy tốt | 29–52 |
| M1 Pro | 16 GB | 8-bit Chạy tốt | 15–26 |
| M1 | 8 GB | 8-bit Chậm | 5–9 |
Do người khác đo
Tốc độ sinh văn bản của Nemotron-Labs Dory 1.0 4B do người khác đo trên chính máy Mac của họ và đăng công khai. Đây là số đo của bên thứ ba, không phải của chúng tôi, và không phải các ước tính ở trên.
| Mac | Runtime | Độ chính xác | Giải mã tok/s | Nguồn |
|---|---|---|---|---|
| MacBook Pro M5 Max 128 GB | dory-mlx | 8-bit (MLX) | 69 | NetProjects @netprojects |
| MacBook Pro M5 Max 128 GB | dory-mlx | 8-bit (MLX) | 54ở ngữ cảnh 32K | NetProjects @netprojects |
Kết quả thay đổi theo runtime và cài đặt: phiên bản, độ chính xác, độ dài ngữ cảnh, prompt và việc bật hay tắt suy luận đều làm tốc độ thay đổi.
Cách chạy
Từng bước: tải và chạy LLM trên Mac · MLX vs Ollama vs llama.cpp
Thích dùng ứng dụng hơn Terminal? So sánh các ứng dụng Mac chạy mô hình cục bộ trên AI App Store: giá, giấy phép và dữ liệu của bạn đi đâu.
Về Nemotron-Labs Dory 1.0 4B
| Nhà phát triển | NVIDIA |
|---|---|
| Tham số | 3,98B (dense) |
| Ngữ cảnh | 256K token |
| Giấy phép | OpenMDW-1.1 |
| Phát hành | 2026-10 |
| Đầu vào | Văn bản |
| Trọng số | nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 |
Câu hỏi
- Nemotron-Labs Dory 1.0 4B cần bao nhiêu bộ nhớ?
- Khoảng 2,2 GB cho trọng số ở mức 4-bit, cộng thêm chỗ cho ngữ cảnh: tổng cộng 3,7 GB. Trên Mac, điều đó có nghĩa là cần từ 8 GB bộ nhớ hợp nhất trở lên, vì mặc định macOS cho GPU dùng khoảng 75% bộ nhớ.
- Nemotron-Labs Dory 1.0 4B chạy nhanh đến đâu trên Mac?
- Tốc độ viết phụ thuộc vào băng thông bộ nhớ. Mac nhanh nhất cho mô hình này ở đây là M5 Ultra với 96 GB, khoảng 87–155 token mỗi giây (8-bit). Mac nhỏ nhất chạy được nó, M3 với 8 GB, đạt khoảng 10–17.
- Lượng tử hóa có làm Nemotron-Labs Dory 1.0 4B kém đi không?
- Ở 4 bit, phần lớn mô hình giữ chất lượng gần với bản gốc; dưới 4 bit chất lượng giảm nhanh hơn. Hãy chọn mức chính xác cao nhất vừa với Mac của bạn mà vẫn còn dư chỗ.
Mô hình tương tự
Cho thẻ mô hình hoặc README của bạn
Hiển thị chiếc Mac nhỏ nhất chạy tốt Nemotron-Labs Dory 1.0 4B và liên kết tới trang này.
[](https://mlx.app/run/nemotron-labs-dory-1.0-4b)Cách tính
Bộ nhớ: số tham số của mô hình ở 8, 6, 4, 3 hoặc 2 bit mỗi trọng số cộng với hệ số tỷ lệ theo nhóm của MLX (nửa bit mỗi trọng số), hoặc theo định dạng gốc, rồi thêm chỗ cho ngữ cảnh. Mặc định macOS cho GPU dùng khoảng 75% bộ nhớ hợp nhất. Tốc độ: băng thông bộ nhớ chia cho số byte đọc mỗi token là mức trần cho một cuộc trò chuyện; trong benchmark Apple Silicon công khai của llama.cpp, thực tế đạt khoảng 45% đến 80% mức đó, và đó là khoảng được hiển thị. Đây là ước tính, không phải số đo: hãy đo chính Mac của bạn trên MLX Bench. Số liệu mô hình lấy từ thẻ mô hình chính thức, số liệu chip từ Thông số kỹ thuật của Apple. Kiểm tra ngày 2026-10-19. Cùng dữ liệu với mlx.app/compare.
Dữ liệu mở: mlx.app/data (JSON, CSV)