Memori di setiap presisi
| Versi | Bobot | Dengan konteks | Mac terkecil |
|---|---|---|---|
| 8-bit | 128 GB | 138 GB | 192 GB |
| 6-bit | 97,5 GB | 105 GB | 192 GB |
| 4-bit | 67,5 GB | 72,9 GB | 128 GB |
| 3-bit kualitas lebih rendah | 52,5 GB | 56,7 GB | 96 GB |
| 2-bit kualitas lebih rendah | 37,5 GB | 40,5 GB | 64 GB |
Di setiap chip Apple
Ukuran memori terkecil setiap chip yang bisa menjalankan Nemotron 3 Super 120B A12B, versi terbaik yang muat, dan kecepatan menulis yang bisa Anda harapkan.
| Chip | Butuh | Versi | Token/s |
|---|---|---|---|
| M6 | tidak ada ukuran yang muat | Terlalu besar | – |
| M5 Ultra | 256 GB | 8-bit Berjalan baik | 42–75 |
| M5 Max | 128 GB | 4-bit Berjalan baik | 41–72 |
| M5 Pro | 64 GB | 2-bit Berjalan baik | 36–65 |
| M5 | tidak ada ukuran yang muat | Terlalu besar | – |
| M4 Max | 128 GB | 4-bit Berjalan baik | 36–64 |
| M4 Pro | 64 GB | 2-bit Berjalan baik | 32–57 |
| M4 | tidak ada ukuran yang muat | Terlalu besar | – |
| M3 Ultra | 256 GB | 8-bit Berjalan baik | 29–51 |
| M3 Max | 128 GB | 4-bit Berjalan baik | 26–47 |
| M3 Pro | tidak ada ukuran yang muat | Terlalu besar | – |
| M3 | tidak ada ukuran yang muat | Terlalu besar | – |
| M2 Ultra | 128 GB | 4-bit Berjalan baik | 53–94 |
| M2 Max | 64 GB | 2-bit Berjalan baik | 47–84 |
| M2 Pro | tidak ada ukuran yang muat | Terlalu besar | – |
| M2 | tidak ada ukuran yang muat | Terlalu besar | – |
| M1 Ultra | 128 GB | 4-bit Berjalan baik | 53–94 |
| M1 Max | 64 GB | 2-bit Berjalan baik | 47–84 |
| M1 Pro | tidak ada ukuran yang muat | Terlalu besar | – |
| M1 | tidak ada ukuran yang muat | Terlalu besar | – |
Cara menjalankannya
- Cara mudah: unduh MLX Harness, gratis dan open source. Cari Nemotron 3 Super 120B A12B, unduh versi yang cocok untuk Mac Anda, lalu mulai chat. Aplikasi ini juga menyajikan model ke aplikasi Anda yang lain melalui API yang kompatibel dengan OpenAI.Unduh MLX HarnessGratis · Apple Silicon · macOS 14.5 atau lebih baru
- Di Terminal dengan MLX dari Apple:
pip install mlx-lmmlx_lm.chat --model mlx-community/NVIDIA-Nemotron-3-Super-120B-A12B-4bitBuild: mlx-community/NVIDIA-Nemotron-3-Super-120B-A12B-4bit di Hugging Face. Presisi lain ada di sebelahnya.
Langkah demi langkah: unduh dan jalankan LLM di Mac · cara memakai MLX Harness · MLX vs Ollama vs llama.cpp
Tentang Nemotron 3 Super 120B A12B
| Dibuat oleh | NVIDIA |
|---|---|
| Parameter | 120B total · 12B aktif (mixture of experts) |
| Konteks | 256K token |
| Lisensi | NVIDIA Nemotron Open Model License |
| Dirilis | 2026-03 |
| Input | Teks |
| Bobot | nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16 |
Pertanyaan
- Berapa memori yang dibutuhkan Nemotron 3 Super 120B A12B?
- Sekitar 67,5 GB untuk bobot pada 4-bit, ditambah ruang untuk konteks: total 72,9 GB. Di Mac artinya memori terpadu 128 GB atau lebih, karena secara bawaan macOS mengizinkan GPU memakai sekitar 75% darinya.
- Seberapa cepat Nemotron 3 Super 120B A12B di Mac?
- Kecepatan menulis bergantung pada bandwidth memori. Mac tercepat untuknya di sini adalah M2 Ultra dengan 128 GB, sekitar 53–94 token per detik (4-bit). Mac terkecil yang bisa menjalankannya, dengan 128 GB, mencapai sekitar 53–94 pada M2 Ultra.
- Mengapa Nemotron 3 Super 120B A12B berjalan lebih cepat daripada ukurannya?
- Ini model mixture-of-experts: ia menyimpan 120B parameter di memori tetapi hanya membaca 12B untuk setiap token, sehingga menulis secepat model yang jauh lebih kecil.
Model serupa
Untuk kartu model atau README Anda
Menampilkan Mac terkecil yang menjalankan Nemotron 3 Super 120B A12B dengan baik dan menautkan ke sini.
[](https://mlx.app/run/nemotron-3-super-120b-a12b)Cara menghitungnya
Memori: parameter model pada 8, 6, 4, 3, atau 2 bit per bobot ditambah skala grup MLX (setengah bit per bobot), atau format bawaannya, ditambah ruang untuk konteks. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% memori terpadu. Kecepatan: bandwidth memori dibagi jumlah byte yang dibaca per token adalah batas atas untuk satu percakapan; dalam benchmark Apple Silicon publik llama.cpp, proses nyata mencapai sekitar 45% hingga 80% darinya, dan rentang itulah yang ditampilkan. Ini perkiraan, bukan pengukuran: ukur Mac Anda sendiri di MLX Bench. Angka model dari kartu model resmi masing-masing, angka chip dari Spesifikasi Teknis Apple. Diperiksa 2026-10-19. Data sama dengan mlx.app/compare.