Her hassasiyette bellek
| Sürüm | Ağırlıklar | Bağlamla | En küçük Mac |
|---|---|---|---|
| 8 bit | 30,6 GB | 33 GB | 48 GB |
| 6 bit | 23,4 GB | 25,3 GB | 36 GB |
| 4 bit | 16,2 GB | 17,7 GB | 24 GB |
| 3 bit daha düşük kalite | 12,6 GB | 14,1 GB | 24 GB |
| 2 bit daha düşük kalite | 9 GB | 10,5 GB | 16 GB |
Her Apple çipinde
Her çipin Raon-1 mini Preview modelini çalıştıran en küçük bellek boyutu, ona sığan en iyi sürüm ve bekleyebileceğiniz yazma hızı.
| Çip | Gereken | Sürüm | Token/s |
|---|---|---|---|
| M6 | 24 GB | 4 bit İyi çalışır | 32–57 |
| M5 Ultra | 96 GB | 8 bit İyi çalışır | 117–209 |
| M5 Max | 36 GB | 6 bit İyi çalışır | 59–105 |
| M5 Pro | 24 GB | 4 bit İyi çalışır | 58–102 |
| M5 | 24 GB | 4 bit İyi çalışır | 29–51 |
| M4 Max | 36 GB | 6 bit İyi çalışır | 53–94 |
| M4 Pro | 24 GB | 4 bit İyi çalışır | 51–91 |
| M4 | 24 GB | 4 bit İyi çalışır | 23–40 |
| M3 Ultra | 96 GB | 8 bit İyi çalışır | 80–142 |
| M3 Max | 36 GB | 6 bit İyi çalışır | 39–69 |
| M3 Pro | 36 GB | 6 bit İyi çalışır | 19–34 |
| M3 | 24 GB | 4 bit İyi çalışır | 19–33 |
| M2 Ultra | 64 GB | 8 bit İyi çalışır | 78–139 |
| M2 Max | 32 GB | 4 bit İyi çalışır | 75–133 |
| M2 Pro | 32 GB | 4 bit İyi çalışır | 38–67 |
| M2 | 24 GB | 4 bit İyi çalışır | 19–33 |
| M1 Ultra | 64 GB | 8 bit İyi çalışır | 78–139 |
| M1 Max | 32 GB | 4 bit İyi çalışır | 75–133 |
| M1 Pro | 32 GB | 4 bit İyi çalışır | 38–67 |
| M1 | 16 GB | 2 bit İyi çalışır | 24–42 |
Nasıl çalıştırılır
pip install mlx-lmmlx_lm.chat --model KRAFTON/Raon-1-mini-preview-mlx --trust-remote-code--trust-remote-code, mlx-lm’in bu sürümle gelen Python kodunu çalıştırmasına izin verir; model onsuz yüklenmez.Derleme: Hugging Face'te KRAFTON/Raon-1-mini-preview-mlx. Diğer hassasiyetler hemen yanında.Adım adım: Mac'te LLM indirip çalıştırma · MLX, Ollama ve llama.cpp karşılaştırması
Terminal yerine bir uygulama mı? Yerel model çalıştıran Mac uygulamalarını karşılaştırın, AI App Store’da: fiyat, lisans ve verilerinizin nereye gittiği.
Raon-1 mini Preview hakkında
| Geliştiren | KRAFTON |
|---|---|
| Parametreler | 28,8B toplam · 4,3B etkin (mixture of experts) |
| Bağlam | 256K token |
| Lisans | Apache-2.0 |
| Yayın tarihi | 2026-10 |
| Girdi | Metin |
| Ağırlıklar | KRAFTON/Raon-1-mini-preview |
Sorular
- Raon-1 mini Preview ne kadar bellek gerektirir?
- 4 bit ile yaklaşık 16,2 GB ağırlık, artı bağlam için yer: toplam 17,7 GB. macOS varsayılan olarak GPU'nun belleğin yaklaşık %75'ini kullanmasına izin verdiği için bu, Mac'te 24 GB veya daha fazla birleşik bellek demektir.
- Raon-1 mini Preview Mac'te ne kadar hızlı?
- Yazma hızı bellek bant genişliğine bağlıdır. Burada onun için en hızlı Mac, 96 GB'lık M5 Ultra: saniyede yaklaşık 117–209 token (8 bit). Onu çalıştıran en küçük Mac, 24 GB'lık M5 Pro, yaklaşık 58–102 token yazar.
- Raon-1 mini Preview neden boyutunun düşündürdüğünden hızlı çalışır?
- Bu bir mixture-of-experts modeli: bellekte 28,8B parametre tutar ama her token için yalnızca 4,3B kadarını okur, bu yüzden çok daha küçük bir modelin hızında yazar.
Benzer modeller
Model kartınız veya README için
Raon-1 mini Preview modelini iyi çalıştıran en küçük Mac'i gösterir ve buraya bağlantı verir.
[](https://mlx.app/run/raon-1-mini-preview)Nasıl hesaplanır
Bellek: modelin parametreleri ağırlık başına 8, 6, 4, 3 veya 2 bitte, artı MLX'in grup ölçekleri (ağırlık başına yarım bit) ya da modelin yerel biçimi; üstüne bağlam için yer. macOS varsayılan olarak GPU'nun birleşik belleğin yaklaşık %75'ini kullanmasına izin verir. Hız: bellek bant genişliğinin token başına okunan bayt sayısına bölümü, tek bir sohbet için üst sınırdır; llama.cpp'nin herkese açık Apple Silicon karşılaştırmalarında gerçek çalıştırmalar bunun yaklaşık %45 ile %80'ine ulaşır ve gösterilen aralık budur. Bunlar ölçüm değil tahmindir: kendi Mac'inizi MLX Bench ile ölçün. Model verileri her modelin resmî model kartından, çip verileri Apple'ın Teknik Özellikler sayfalarından alınmıştır. Kontrol tarihi: 2026-10-19. mlx.app/compare ile aynı veriler.
Açık veri: mlx.app/data (JSON, CSV)