Her hassasiyette bellek
| Sürüm | Ağırlıklar | Bağlamla | En küçük Mac |
|---|---|---|---|
| 8 bit | 4,2 GB | 5,7 GB | 8 GB |
| 6 bit | 3,2 GB | 4,7 GB | 8 GB |
| 4 bit | 2,2 GB | 3,7 GB | 8 GB |
| 3 bit daha düşük kalite | 1,7 GB | 3,2 GB | 8 GB |
| 2 bit daha düşük kalite | 1,2 GB | 2,7 GB | 8 GB |
Her Apple çipinde
Her çipin Nemotron-Labs Dory 1.0 4B modelini çalıştıran en küçük bellek boyutu, ona sığan en iyi sürüm ve bekleyebileceğiniz yazma hızı.
| Çip | Gereken | Sürüm | Token/s |
|---|---|---|---|
| M6 | 16 GB | 8 bit İyi çalışır | 11–20 |
| M5 Ultra | 96 GB | 8 bit İyi çalışır | 87–155 |
| M5 Max | 36 GB | 8 bit İyi çalışır | 33–59 |
| M5 Pro | 24 GB | 8 bit İyi çalışır | 22–40 |
| M5 | 16 GB | 8 bit İyi çalışır | 11–20 |
| M4 Max | 36 GB | 8 bit İyi çalışır | 30–53 |
| M4 Pro | 24 GB | 8 bit İyi çalışır | 20–35 |
| M4 | 16 GB | 6 bit İyi çalışır | 11–20 |
| M3 Ultra | 96 GB | 8 bit İyi çalışır | 59–106 |
| M3 Max | 36 GB | 8 bit İyi çalışır | 22–39 |
| M3 Pro | 18 GB | 8 bit İyi çalışır | 11–19 |
| M3 | 8 GB | 6 bit İyi çalışır | 10–17 |
| M2 Ultra | 64 GB | 8 bit İyi çalışır | 58–103 |
| M2 Max | 32 GB | 8 bit İyi çalışır | 29–52 |
| M2 Pro | 16 GB | 8 bit İyi çalışır | 15–26 |
| M2 | 8 GB | 6 bit İyi çalışır | 10–17 |
| M1 Ultra | 64 GB | 8 bit İyi çalışır | 58–103 |
| M1 Max | 32 GB | 8 bit İyi çalışır | 29–52 |
| M1 Pro | 16 GB | 8 bit İyi çalışır | 15–26 |
| M1 | 8 GB | 8 bit Yavaş | 5–9 |
Başkalarının ölçtüğü
Başkalarının kendi Mac’lerinde ölçüp herkese açık paylaştığı Nemotron-Labs Dory 1.0 4B üretim hızları. Bunlar üçüncü tarafların ölçümleri; bizim değil ve yukarıdaki tahminler değil.
| Mac | Çalışma ortamı | Hassasiyet | Üretim tok/s | Kaynak |
|---|---|---|---|---|
| MacBook Pro M5 Max 128 GB | dory-mlx | 8-bit (MLX) | 69 | NetProjects @netprojects |
| MacBook Pro M5 Max 128 GB | dory-mlx | 8-bit (MLX) | 5432K bağlamda | NetProjects @netprojects |
Sonuçlar çalışma ortamına ve ayarlara göre değişir: sürüm, hassasiyet, bağlam uzunluğu, istem ve akıl yürütmenin açık ya da kapalı olması hızı değiştirir.
Nasıl çalıştırılır
Adım adım: Mac'te LLM indirip çalıştırma · MLX, Ollama ve llama.cpp karşılaştırması
Terminal yerine bir uygulama mı? Yerel model çalıştıran Mac uygulamalarını karşılaştırın, AI App Store’da: fiyat, lisans ve verilerinizin nereye gittiği.
Nemotron-Labs Dory 1.0 4B hakkında
| Geliştiren | NVIDIA |
|---|---|
| Parametreler | 3,98B (yoğun) |
| Bağlam | 256K token |
| Lisans | OpenMDW-1.1 |
| Yayın tarihi | 2026-10 |
| Girdi | Metin |
| Ağırlıklar | nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 |
Sorular
- Nemotron-Labs Dory 1.0 4B ne kadar bellek gerektirir?
- 4 bit ile yaklaşık 2,2 GB ağırlık, artı bağlam için yer: toplam 3,7 GB. macOS varsayılan olarak GPU'nun belleğin yaklaşık %75'ini kullanmasına izin verdiği için bu, Mac'te 8 GB veya daha fazla birleşik bellek demektir.
- Nemotron-Labs Dory 1.0 4B Mac'te ne kadar hızlı?
- Yazma hızı bellek bant genişliğine bağlıdır. Burada onun için en hızlı Mac, 96 GB'lık M5 Ultra: saniyede yaklaşık 87–155 token (8 bit). Onu çalıştıran en küçük Mac, 8 GB'lık M3, yaklaşık 10–17 token yazar.
- Kuantizasyon Nemotron-Labs Dory 1.0 4B modeline zarar verir mi?
- 4 bitte çoğu model özgün kaliteye yakın kalır; 4 bitin altında kalite daha hızlı düşer. Mac'inize pay bırakarak sığan en yüksek hassasiyeti seçin.
Benzer modeller
Model kartınız veya README için
Nemotron-Labs Dory 1.0 4B modelini iyi çalıştıran en küçük Mac'i gösterir ve buraya bağlantı verir.
[](https://mlx.app/run/nemotron-labs-dory-1.0-4b)Nasıl hesaplanır
Bellek: modelin parametreleri ağırlık başına 8, 6, 4, 3 veya 2 bitte, artı MLX'in grup ölçekleri (ağırlık başına yarım bit) ya da modelin yerel biçimi; üstüne bağlam için yer. macOS varsayılan olarak GPU'nun birleşik belleğin yaklaşık %75'ini kullanmasına izin verir. Hız: bellek bant genişliğinin token başına okunan bayt sayısına bölümü, tek bir sohbet için üst sınırdır; llama.cpp'nin herkese açık Apple Silicon karşılaştırmalarında gerçek çalıştırmalar bunun yaklaşık %45 ile %80'ine ulaşır ve gösterilen aralık budur. Bunlar ölçüm değil tahmindir: kendi Mac'inizi MLX Bench ile ölçün. Model verileri her modelin resmî model kartından, çip verileri Apple'ın Teknik Özellikler sayfalarından alınmıştır. Kontrol tarihi: 2026-10-19. mlx.app/compare ile aynı veriler.
Açık veri: mlx.app/data (JSON, CSV)