Her hassasiyette bellek
| Sürüm | Ağırlıklar | Bağlamla | En küçük Mac |
|---|---|---|---|
| 8 bit | 313 GB | 339 GB | 512 GB |
| 6 bit | 240 GB | 259 GB | 512 GB |
| 4 bit | 166 GB | 179 GB | 256 GB |
| 3 bit daha düşük kalite | 129 GB | 139 GB | 192 GB |
| 2 bit daha düşük kalite | 92,2 GB | 99,6 GB | 192 GB |
Her Apple çipinde
Her çipin Hy3 modelini çalıştıran en küçük bellek boyutu, ona sığan en iyi sürüm ve bekleyebileceğiniz yazma hızı.
| Çip | Gereken | Sürüm | Token/s |
|---|---|---|---|
| M6 | hiçbir boyut yetmez | Çok büyük | – |
| M5 Ultra | 256 GB | 4 bit İyi çalışır | 46–81 |
| M5 Max | 128 GB | 2 bit Ancak sığar | 42–74 |
| M5 Pro | hiçbir boyut yetmez | Çok büyük | – |
| M5 | hiçbir boyut yetmez | Çok büyük | – |
| M4 Max | 128 GB | 2 bit Ancak sığar | 37–66 |
| M4 Pro | hiçbir boyut yetmez | Çok büyük | – |
| M4 | hiçbir boyut yetmez | Çok büyük | – |
| M3 Ultra | 256 GB | 4 bit İyi çalışır | 31–56 |
| M3 Max | 128 GB | 2 bit Ancak sığar | 27–48 |
| M3 Pro | hiçbir boyut yetmez | Çok büyük | – |
| M3 | hiçbir boyut yetmez | Çok büyük | – |
| M2 Ultra | 192 GB | 3 bit İyi çalışır | 39–70 |
| M2 Max | hiçbir boyut yetmez | Çok büyük | – |
| M2 Pro | hiçbir boyut yetmez | Çok büyük | – |
| M2 | hiçbir boyut yetmez | Çok büyük | – |
| M1 Ultra | 128 GB | 2 bit Ancak sığar | 55–97 |
| M1 Max | hiçbir boyut yetmez | Çok büyük | – |
| M1 Pro | hiçbir boyut yetmez | Çok büyük | – |
| M1 | hiçbir boyut yetmez | Çok büyük | – |
Nasıl çalıştırılır
- Kolay yol: ücretsiz ve açık kaynak MLX Harness uygulamasını indirin. Hy3 modelini arayın, Mac'inize uyan sürümü indirin ve sohbet edin. Model, OpenAI uyumlu bir API üzerinden diğer uygulamalarınıza da sunulur.MLX Harness'yu indirinÜcretsiz · Apple Silicon · macOS 14.5 veya üstü
- Apple'ın MLX'iyle Terminal'de:
pip install mlx-lmmlx_lm.chat --model mlx-community/Hy3-OptiQ-2bitDerleme: Hugging Face'te mlx-community/Hy3-OptiQ-2bit. Diğer hassasiyetler hemen yanında.
Adım adım: Mac'te LLM indirip çalıştırma · MLX Harness nasıl kullanılır · MLX, Ollama ve llama.cpp karşılaştırması
Hy3 hakkında
| Geliştiren | Tencent |
|---|---|
| Parametreler | 295B toplam · 21B etkin (mixture of experts) |
| Bağlam | 256K token |
| Lisans | Apache-2.0 |
| Yayın tarihi | 2026-07 |
| Girdi | Metin |
| Zekâ | Artificial Analysis Intelligence Index puanı: 25,3 |
| Ağırlıklar | tencent/Hy3 |
Sorular
- Hy3 ne kadar bellek gerektirir?
- 4 bit ile yaklaşık 166 GB ağırlık, artı bağlam için yer: toplam 179 GB. macOS varsayılan olarak GPU'nun belleğin yaklaşık %75'ini kullanmasına izin verdiği için bu, Mac'te 256 GB veya daha fazla birleşik bellek demektir.
- Hy3 Mac'te ne kadar hızlı?
- Yazma hızı bellek bant genişliğine bağlıdır. Burada onun için en hızlı Mac, 256 GB'lık M5 Ultra: saniyede yaklaşık 46–81 token (4 bit). Onu çalıştıran en küçük Mac, 256 GB'lık M5 Ultra, yaklaşık 46–81 token yazar.
- Hy3 neden boyutunun düşündürdüğünden hızlı çalışır?
- Bu bir mixture-of-experts modeli: bellekte 295B parametre tutar ama her token için yalnızca 21B kadarını okur, bu yüzden çok daha küçük bir modelin hızında yazar.
Benzer modeller
Model kartınız veya README için
Hy3 modelini iyi çalıştıran en küçük Mac'i gösterir ve buraya bağlantı verir.
[](https://mlx.app/run/hy3)Nasıl hesaplanır
Bellek: modelin parametreleri ağırlık başına 8, 6, 4, 3 veya 2 bitte, artı MLX'in grup ölçekleri (ağırlık başına yarım bit) ya da modelin yerel biçimi; üstüne bağlam için yer. macOS varsayılan olarak GPU'nun birleşik belleğin yaklaşık %75'ini kullanmasına izin verir. Hız: bellek bant genişliğinin token başına okunan bayt sayısına bölümü, tek bir sohbet için üst sınırdır; llama.cpp'nin herkese açık Apple Silicon karşılaştırmalarında gerçek çalıştırmalar bunun yaklaşık %45 ile %80'ine ulaşır ve gösterilen aralık budur. Bunlar ölçüm değil tahmindir: kendi Mac'inizi MLX Bench ile ölçün. Model verileri her modelin resmî model kartından, çip verileri Apple'ın Teknik Özellikler sayfalarından alınmıştır. Kontrol tarihi: 2026-10-19. mlx.app/compare ile aynı veriler.