Memori pada setiap kepersisan
| Versi | Pemberat | Dengan konteks | Mac terkecil |
|---|---|---|---|
| 8-bit | 78.6 GB | 84.9 GB | 128 GB |
| 6-bit | 60.1 GB | 64.9 GB | 96 GB |
| 4-bit | 41.6 GB | 44.9 GB | 64 GB |
| 3-bit kualiti lebih rendah | 32.4 GB | 35 GB | 48 GB |
| 2-bit kualiti lebih rendah | 23.1 GB | 24.9 GB | 36 GB |
Pada setiap cip Apple
Saiz memori terkecil setiap cip yang menjalankan Nemotron 3.5 Bolt 74B A9B, versi terbaik yang muat, dan kelajuan menulis yang boleh anda jangkakan.
| Cip | Perlu | Versi | Token/s |
|---|---|---|---|
| M6 | 32 GB | 2-bit Cukup-cukup muat | 27–49 |
| M5 Ultra | 96 GB | 6-bit Berjalan baik | 74–132 |
| M5 Max | 64 GB | 4-bit Berjalan baik | 54–96 |
| M5 Pro | 64 GB | 4-bit Berjalan baik | 27–48 |
| M5 | 32 GB | 2-bit Cukup-cukup muat | 25–44 |
| M4 Max | 64 GB | 4-bit Berjalan baik | 48–86 |
| M4 Pro | 64 GB | 4-bit Berjalan baik | 24–43 |
| M4 | 32 GB | 2-bit Cukup-cukup muat | 19–34 |
| M3 Ultra | 96 GB | 6-bit Berjalan baik | 50–90 |
| M3 Max | 64 GB | 4-bit Berjalan baik | 35–63 |
| M3 Pro | 36 GB | 2-bit Berjalan baik | 24–43 |
| M3 | tiada saiz yang muat | Terlalu besar | – |
| M2 Ultra | 64 GB | 4-bit Berjalan baik | 71–125 |
| M2 Max | 64 GB | 4-bit Berjalan baik | 35–63 |
| M2 Pro | 32 GB | 2-bit Cukup-cukup muat | 32–57 |
| M2 | tiada saiz yang muat | Terlalu besar | – |
| M1 Ultra | 64 GB | 4-bit Berjalan baik | 71–125 |
| M1 Max | 64 GB | 4-bit Berjalan baik | 35–63 |
| M1 Pro | 32 GB | 2-bit Cukup-cukup muat | 32–57 |
| M1 | tiada saiz yang muat | Terlalu besar | – |
Cara menjalankannya
- Cara mudah: muat turun MLX Harness, percuma dan sumber terbuka. Cari Nemotron 3.5 Bolt 74B A9B, muat turun versi yang sesuai dengan Mac anda, dan mula bersembang. Ia juga menyediakan model kepada aplikasi anda yang lain melalui API yang serasi dengan OpenAI.Muat turun MLX HarnessPercuma · Apple Silicon · macOS 14.5 atau lebih baharu
- Dalam Terminal dengan MLX daripada Apple: Belum ada binaan MLX daripada komuniti, jadi buat satu daripada pemberat rasmi:
pip install mlx-lmmlx_lm.convert --hf-path nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 -q
Langkah demi langkah: muat turun dan jalankan LLM pada Mac · cara menggunakan MLX Harness · MLX vs Ollama vs llama.cpp
Tentang Nemotron 3.5 Bolt 74B A9B
| Dibuat oleh | NVIDIA |
|---|---|
| Parameter | 74B jumlah · 9B aktif (mixture of experts) |
| Konteks | 256K token |
| Lesen | OpenMDW-1.1 |
| Dikeluarkan | 2026-10 |
| Input | Teks dan imej |
| Kecerdasan | 21.4 dalam Artificial Analysis Intelligence Index |
| Pemberat | nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 |
Soalan
- Berapakah memori yang diperlukan oleh Nemotron 3.5 Bolt 74B A9B?
- Kira-kira 41.6 GB pemberat pada 4-bit, serta ruang untuk konteks: 44.9 GB kesemuanya. Pada Mac, ini bermakna 64 GB memori bersatu atau lebih, kerana secara lalai macOS membenarkan GPU menggunakan kira-kira 75% daripadanya.
- Sepantas mana Nemotron 3.5 Bolt 74B A9B pada Mac?
- Kelajuan menulis bergantung pada lebar jalur memori. Mac terpantas untuknya di sini ialah M5 Ultra dengan 96 GB, kira-kira 74–132 token sesaat (6-bit). Mac terkecil yang menjalankannya, dengan 64 GB, mencapai kira-kira 71–125 pada M2 Ultra.
- Mengapakah Nemotron 3.5 Bolt 74B A9B berjalan lebih pantas daripada saiznya?
- Ia model mixture-of-experts: ia menyimpan 74B parameter dalam memori tetapi hanya membaca 9B bagi setiap token, jadi ia menulis sepantas model yang jauh lebih kecil.
Model serupa
Untuk kad model atau README anda
Menunjukkan Mac terkecil yang menjalankan Nemotron 3.5 Bolt 74B A9B dengan baik dan memaut ke sini.
[](https://mlx.app/run/nemotron-3.5-bolt-74b-a9b)Cara ia dikira
Memori: parameter model pada 8, 6, 4, 3 atau 2 bit setiap pemberat serta skala kumpulan MLX (setengah bit setiap pemberat), atau format aslinya, dengan ruang untuk konteks di atasnya. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% memori bersatu. Kelajuan: lebar jalur memori dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; dalam penanda aras Apple Silicon awam llama.cpp, larian sebenar mencapai kira-kira 45% hingga 80% daripadanya, dan julat itulah yang ditunjukkan. Ini anggaran, bukan ukuran: ukur Mac anda sendiri di MLX Bench. Angka model daripada kad model rasmi setiap model, angka cip daripada Spesifikasi Teknikal Apple. Disemak 2026-10-19. Data yang sama seperti mlx.app/compare.