Her hassasiyette bellek
| Sürüm | Ağırlıklar | Bağlamla | En küçük Mac |
|---|---|---|---|
| 8 bit | 78,6 GB | 84,9 GB | 128 GB |
| 6 bit | 60,1 GB | 64,9 GB | 96 GB |
| 4 bit | 41,6 GB | 44,9 GB | 64 GB |
| 3 bit daha düşük kalite | 32,4 GB | 35 GB | 48 GB |
| 2 bit daha düşük kalite | 23,1 GB | 24,9 GB | 36 GB |
Her Apple çipinde
Her çipin Nemotron 3.5 Bolt 74B A9B modelini çalıştıran en küçük bellek boyutu, ona sığan en iyi sürüm ve bekleyebileceğiniz yazma hızı.
| Çip | Gereken | Sürüm | Token/s |
|---|---|---|---|
| M6 | 32 GB | 2 bit Ancak sığar | 27–49 |
| M5 Ultra | 96 GB | 6 bit İyi çalışır | 74–132 |
| M5 Max | 64 GB | 4 bit İyi çalışır | 54–96 |
| M5 Pro | 64 GB | 4 bit İyi çalışır | 27–48 |
| M5 | 32 GB | 2 bit Ancak sığar | 25–44 |
| M4 Max | 64 GB | 4 bit İyi çalışır | 48–86 |
| M4 Pro | 64 GB | 4 bit İyi çalışır | 24–43 |
| M4 | 32 GB | 2 bit Ancak sığar | 19–34 |
| M3 Ultra | 96 GB | 6 bit İyi çalışır | 50–90 |
| M3 Max | 64 GB | 4 bit İyi çalışır | 35–63 |
| M3 Pro | 36 GB | 2 bit İyi çalışır | 24–43 |
| M3 | hiçbir boyut yetmez | Çok büyük | – |
| M2 Ultra | 64 GB | 4 bit İyi çalışır | 71–125 |
| M2 Max | 64 GB | 4 bit İyi çalışır | 35–63 |
| M2 Pro | 32 GB | 2 bit Ancak sığar | 32–57 |
| M2 | hiçbir boyut yetmez | Çok büyük | – |
| M1 Ultra | 64 GB | 4 bit İyi çalışır | 71–125 |
| M1 Max | 64 GB | 4 bit İyi çalışır | 35–63 |
| M1 Pro | 32 GB | 2 bit Ancak sığar | 32–57 |
| M1 | hiçbir boyut yetmez | Çok büyük | – |
Nasıl çalıştırılır
- Kolay yol: ücretsiz ve açık kaynak MLX Harness uygulamasını indirin. Nemotron 3.5 Bolt 74B A9B modelini arayın, Mac'inize uyan sürümü indirin ve sohbet edin. Model, OpenAI uyumlu bir API üzerinden diğer uygulamalarınıza da sunulur.MLX Harness'yu indirinÜcretsiz · Apple Silicon · macOS 14.5 veya üstü
- Apple'ın MLX'iyle Terminal'de: Henüz topluluk tarafından hazırlanmış bir MLX derlemesi yok, bu yüzden resmî ağırlıklardan bir tane oluşturun:
pip install mlx-lmmlx_lm.convert --hf-path nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 -q
Adım adım: Mac'te LLM indirip çalıştırma · MLX Harness nasıl kullanılır · MLX, Ollama ve llama.cpp karşılaştırması
Nemotron 3.5 Bolt 74B A9B hakkında
| Geliştiren | NVIDIA |
|---|---|
| Parametreler | 74B toplam · 9B etkin (mixture of experts) |
| Bağlam | 256K token |
| Lisans | OpenMDW-1.1 |
| Yayın tarihi | 2026-10 |
| Girdi | Metin ve görseller |
| Zekâ | Artificial Analysis Intelligence Index puanı: 21,4 |
| Ağırlıklar | nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 |
Sorular
- Nemotron 3.5 Bolt 74B A9B ne kadar bellek gerektirir?
- 4 bit ile yaklaşık 41,6 GB ağırlık, artı bağlam için yer: toplam 44,9 GB. macOS varsayılan olarak GPU'nun belleğin yaklaşık %75'ini kullanmasına izin verdiği için bu, Mac'te 64 GB veya daha fazla birleşik bellek demektir.
- Nemotron 3.5 Bolt 74B A9B Mac'te ne kadar hızlı?
- Yazma hızı bellek bant genişliğine bağlıdır. Burada onun için en hızlı Mac, 96 GB'lık M5 Ultra: saniyede yaklaşık 74–132 token (6 bit). Onu çalıştıran en küçük Mac, 64 GB'lık M2 Ultra, yaklaşık 71–125 token yazar.
- Nemotron 3.5 Bolt 74B A9B neden boyutunun düşündürdüğünden hızlı çalışır?
- Bu bir mixture-of-experts modeli: bellekte 74B parametre tutar ama her token için yalnızca 9B kadarını okur, bu yüzden çok daha küçük bir modelin hızında yazar.
Benzer modeller
Model kartınız veya README için
Nemotron 3.5 Bolt 74B A9B modelini iyi çalıştıran en küçük Mac'i gösterir ve buraya bağlantı verir.
[](https://mlx.app/run/nemotron-3.5-bolt-74b-a9b)Nasıl hesaplanır
Bellek: modelin parametreleri ağırlık başına 8, 6, 4, 3 veya 2 bitte, artı MLX'in grup ölçekleri (ağırlık başına yarım bit) ya da modelin yerel biçimi; üstüne bağlam için yer. macOS varsayılan olarak GPU'nun birleşik belleğin yaklaşık %75'ini kullanmasına izin verir. Hız: bellek bant genişliğinin token başına okunan bayt sayısına bölümü, tek bir sohbet için üst sınırdır; llama.cpp'nin herkese açık Apple Silicon karşılaştırmalarında gerçek çalıştırmalar bunun yaklaşık %45 ile %80'ine ulaşır ve gösterilen aralık budur. Bunlar ölçüm değil tahmindir: kendi Mac'inizi MLX Bench ile ölçün. Model verileri her modelin resmî model kartından, çip verileri Apple'ın Teknik Özellikler sayfalarından alınmıştır. Kontrol tarihi: 2026-10-19. mlx.app/compare ile aynı veriler.