Bộ nhớ ở từng mức chính xác
| Phiên bản | Trọng số | Kèm ngữ cảnh | Mac nhỏ nhất |
|---|---|---|---|
| 8-bit | 128 GB | 138 GB | 192 GB |
| 6-bit | 97,5 GB | 105 GB | 192 GB |
| 4-bit | 67,5 GB | 72,9 GB | 128 GB |
| 3-bit chất lượng thấp hơn | 52,5 GB | 56,7 GB | 96 GB |
| 2-bit chất lượng thấp hơn | 37,5 GB | 40,5 GB | 64 GB |
Trên mọi chip Apple
Dung lượng bộ nhớ nhỏ nhất của mỗi chip chạy được Nemotron 3.5 Super VL 120B A12B, phiên bản tốt nhất vừa với nó, và tốc độ viết bạn có thể kỳ vọng.
| Chip | Cần | Phiên bản | Token/giây |
|---|---|---|---|
| M6 | không dung lượng nào vừa | Quá lớn | – |
| M5 Ultra | 256 GB | 8-bit Chạy tốt | 42–75 |
| M5 Max | 128 GB | 4-bit Chạy tốt | 41–72 |
| M5 Pro | 64 GB | 2-bit Chạy tốt | 36–65 |
| M5 | không dung lượng nào vừa | Quá lớn | – |
| M4 Max | 128 GB | 4-bit Chạy tốt | 36–64 |
| M4 Pro | 64 GB | 2-bit Chạy tốt | 32–57 |
| M4 | không dung lượng nào vừa | Quá lớn | – |
| M3 Ultra | 256 GB | 8-bit Chạy tốt | 29–51 |
| M3 Max | 128 GB | 4-bit Chạy tốt | 26–47 |
| M3 Pro | không dung lượng nào vừa | Quá lớn | – |
| M3 | không dung lượng nào vừa | Quá lớn | – |
| M2 Ultra | 128 GB | 4-bit Chạy tốt | 53–94 |
| M2 Max | 64 GB | 2-bit Chạy tốt | 47–84 |
| M2 Pro | không dung lượng nào vừa | Quá lớn | – |
| M2 | không dung lượng nào vừa | Quá lớn | – |
| M1 Ultra | 128 GB | 4-bit Chạy tốt | 53–94 |
| M1 Max | 64 GB | 2-bit Chạy tốt | 47–84 |
| M1 Pro | không dung lượng nào vừa | Quá lớn | – |
| M1 | không dung lượng nào vừa | Quá lớn | – |
Cách chạy
Từng bước: tải và chạy LLM trên Mac · MLX vs Ollama vs llama.cpp
Thích dùng ứng dụng hơn Terminal? So sánh các ứng dụng Mac chạy mô hình cục bộ trên AI App Store: giá, giấy phép và dữ liệu của bạn đi đâu.
Về Nemotron 3.5 Super VL 120B A12B
| Nhà phát triển | NVIDIA |
|---|---|
| Tham số | Tổng 120B · 12B hoạt động (mixture-of-experts) |
| Ngữ cảnh | 1M token |
| Giấy phép | OpenMDW-1.1 |
| Phát hành | 2026-10 |
| Đầu vào | Văn bản và hình ảnh |
| Trí tuệ | 26,5 trên Artificial Analysis Intelligence Index |
| Trọng số | nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16 |
Câu hỏi
- Nemotron 3.5 Super VL 120B A12B cần bao nhiêu bộ nhớ?
- Khoảng 67,5 GB cho trọng số ở mức 4-bit, cộng thêm chỗ cho ngữ cảnh: tổng cộng 72,9 GB. Trên Mac, điều đó có nghĩa là cần từ 128 GB bộ nhớ hợp nhất trở lên, vì mặc định macOS cho GPU dùng khoảng 75% bộ nhớ.
- Nemotron 3.5 Super VL 120B A12B chạy nhanh đến đâu trên Mac?
- Tốc độ viết phụ thuộc vào băng thông bộ nhớ. Mac nhanh nhất cho mô hình này ở đây là M2 Ultra với 128 GB, khoảng 53–94 token mỗi giây (4-bit). Mac nhỏ nhất chạy được nó, M2 Ultra với 128 GB, đạt khoảng 53–94.
- Vì sao Nemotron 3.5 Super VL 120B A12B chạy nhanh hơn kích thước của nó?
- Đây là mô hình mixture-of-experts: nó giữ 120B tham số trong bộ nhớ nhưng mỗi token chỉ đọc 12B, nên viết nhanh như một mô hình nhỏ hơn nhiều.
Mô hình tương tự
Cho thẻ mô hình hoặc README của bạn
Hiển thị chiếc Mac nhỏ nhất chạy tốt Nemotron 3.5 Super VL 120B A12B và liên kết tới trang này.
[](https://mlx.app/run/nemotron-3.5-super-vl-120b-a12b)Cách tính
Bộ nhớ: số tham số của mô hình ở 8, 6, 4, 3 hoặc 2 bit mỗi trọng số cộng với hệ số tỷ lệ theo nhóm của MLX (nửa bit mỗi trọng số), hoặc theo định dạng gốc, rồi thêm chỗ cho ngữ cảnh. Mặc định macOS cho GPU dùng khoảng 75% bộ nhớ hợp nhất. Tốc độ: băng thông bộ nhớ chia cho số byte đọc mỗi token là mức trần cho một cuộc trò chuyện; trong benchmark Apple Silicon công khai của llama.cpp, thực tế đạt khoảng 45% đến 80% mức đó, và đó là khoảng được hiển thị. Đây là ước tính, không phải số đo: hãy đo chính Mac của bạn trên MLX Bench. Số liệu mô hình lấy từ thẻ mô hình chính thức, số liệu chip từ Thông số kỹ thuật của Apple. Kiểm tra ngày 2026-10-19. Cùng dữ liệu với mlx.app/compare.
Dữ liệu mở: mlx.app/data (JSON, CSV)