Her hassasiyette bellek
| Sürüm | Ağırlıklar | Bağlamla | En küçük Mac |
|---|---|---|---|
| 8 bit | 4,4 GB | 5,9 GB | 8 GB |
| 6 bit | 3,4 GB | 4,9 GB | 8 GB |
| 4 bit | 2,3 GB | 3,8 GB | 8 GB |
| 3 bit daha düşük kalite | 1,8 GB | 3,3 GB | 8 GB |
| 2 bit daha düşük kalite | 1,3 GB | 2,8 GB | 8 GB |
Her Apple çipinde
Her çipin Nanbeige4.2 3B modelini çalıştıran en küçük bellek boyutu, ona sığan en iyi sürüm ve bekleyebileceğiniz yazma hızı.
| Çip | Gereken | Sürüm | Token/s |
|---|---|---|---|
| M6 | 16 GB | 6 bit İyi çalışır | 12–21 |
| M5 Ultra | 96 GB | 8 bit İyi çalışır | 69–123 |
| M5 Max | 36 GB | 8 bit İyi çalışır | 27–47 |
| M5 Pro | 24 GB | 8 bit İyi çalışır | 18–31 |
| M5 | 16 GB | 6 bit İyi çalışır | 12–21 |
| M4 Max | 36 GB | 8 bit İyi çalışır | 24–42 |
| M4 Pro | 24 GB | 8 bit İyi çalışır | 16–28 |
| M4 | 16 GB | 4 bit İyi çalışır | 13–23 |
| M3 Ultra | 96 GB | 8 bit İyi çalışır | 47–84 |
| M3 Max | 36 GB | 8 bit İyi çalışır | 17–31 |
| M3 Pro | 18 GB | 6 bit İyi çalışır | 11–20 |
| M3 | 8 GB | 4 bit İyi çalışır | 11–20 |
| M2 Ultra | 64 GB | 8 bit İyi çalışır | 46–82 |
| M2 Max | 32 GB | 8 bit İyi çalışır | 23–41 |
| M2 Pro | 16 GB | 8 bit İyi çalışır | 12–21 |
| M2 | 8 GB | 4 bit İyi çalışır | 11–20 |
| M1 Ultra | 64 GB | 8 bit İyi çalışır | 46–82 |
| M1 Max | 32 GB | 8 bit İyi çalışır | 23–41 |
| M1 Pro | 16 GB | 8 bit İyi çalışır | 12–21 |
| M1 | 8 GB | 8 bit Yavaş | 4–7 |
Nasıl çalıştırılır
pip install mlx-lmmlx_lm.chat --model mlx-community/Nanbeige4.2-3B-OptiQ-4bitDerleme: Hugging Face'te mlx-community/Nanbeige4.2-3B-OptiQ-4bit. Diğer hassasiyetler hemen yanında.Adım adım: Mac'te LLM indirip çalıştırma · MLX, Ollama ve llama.cpp karşılaştırması
Terminal yerine bir uygulama mı? Yerel model çalıştıran Mac uygulamalarını karşılaştırın, AI App Store’da: fiyat, lisans ve verilerinizin nereye gittiği.
Nanbeige4.2 3B hakkında
| Geliştiren | Nanbeige (Nanbeige Lab) |
|---|---|
| Parametreler | 4,17B (yoğun) |
| Bağlam | 256K token |
| Lisans | Apache-2.0 |
| Yayın tarihi | 2026-07 |
| Girdi | Metin |
| Ağırlıklar | Nanbeige/Nanbeige4.2-3B |
Sorular
- Nanbeige4.2 3B ne kadar bellek gerektirir?
- 4 bit ile yaklaşık 2,3 GB ağırlık, artı bağlam için yer: toplam 3,8 GB. macOS varsayılan olarak GPU'nun belleğin yaklaşık %75'ini kullanmasına izin verdiği için bu, Mac'te 8 GB veya daha fazla birleşik bellek demektir.
- Nanbeige4.2 3B Mac'te ne kadar hızlı?
- Yazma hızı bellek bant genişliğine bağlıdır. Burada onun için en hızlı Mac, 96 GB'lık M5 Ultra: saniyede yaklaşık 69–123 token (8 bit). Onu çalıştıran en küçük Mac, 8 GB'lık M3, yaklaşık 11–20 token yazar.
- Kuantizasyon Nanbeige4.2 3B modeline zarar verir mi?
- 4 bitte çoğu model özgün kaliteye yakın kalır; 4 bitin altında kalite daha hızlı düşer. Mac'inize pay bırakarak sığan en yüksek hassasiyeti seçin.
Benzer modeller
Model kartınız veya README için
Nanbeige4.2 3B modelini iyi çalıştıran en küçük Mac'i gösterir ve buraya bağlantı verir.
[](https://mlx.app/run/nanbeige4.2-3b)Nasıl hesaplanır
Bellek: modelin parametreleri ağırlık başına 8, 6, 4, 3 veya 2 bitte, artı MLX'in grup ölçekleri (ağırlık başına yarım bit) ya da modelin yerel biçimi; üstüne bağlam için yer. macOS varsayılan olarak GPU'nun birleşik belleğin yaklaşık %75'ini kullanmasına izin verir. Hız: bellek bant genişliğinin token başına okunan bayt sayısına bölümü, tek bir sohbet için üst sınırdır; llama.cpp'nin herkese açık Apple Silicon karşılaştırmalarında gerçek çalıştırmalar bunun yaklaşık %45 ile %80'ine ulaşır ve gösterilen aralık budur. Bunlar ölçüm değil tahmindir: kendi Mac'inizi MLX Bench ile ölçün. Model verileri her modelin resmî model kartından, çip verileri Apple'ın Teknik Özellikler sayfalarından alınmıştır. Kontrol tarihi: 2026-10-19. mlx.app/compare ile aynı veriler.
Açık veri: mlx.app/data (JSON, CSV)