Her hassasiyette bellek
| Sürüm | Ağırlıklar | Bağlamla | En küçük Mac |
|---|---|---|---|
| 8 bit | 136 GB | 147 GB | 256 GB |
| 6 bit | 104 GB | 112 GB | 192 GB |
| 4 bit | 72 GB | 77,8 GB | 128 GB |
| 3 bit daha düşük kalite | 56 GB | 60,5 GB | 96 GB |
| 2 bit daha düşük kalite | 40 GB | 43,2 GB | 64 GB |
Her Apple çipinde
Her çipin Mistral Medium 3.5 (128B) modelini çalıştıran en küçük bellek boyutu, ona sığan en iyi sürüm ve bekleyebileceğiniz yazma hızı.
| Çip | Gereken | Sürüm | Token/s |
|---|---|---|---|
| M6 | hiçbir boyut yetmez | Çok büyük | – |
| M5 Ultra | 256 GB | 8 bit Yavaş | 4–7 |
| M5 Max | 128 GB | 4 bit Yavaş | 4–7 |
| M5 Pro | 64 GB | 2 bit Yavaş | 3–6 |
| M5 | hiçbir boyut yetmez | Çok büyük | – |
| M4 Max | 128 GB | 4 bit Yavaş | 3–6 |
| M4 Pro | 64 GB | 2 bit Yavaş | 3–5 |
| M4 | hiçbir boyut yetmez | Çok büyük | – |
| M3 Ultra | 256 GB | 8 bit Yavaş | 3–5 |
| M3 Max | 128 GB | 4 bit Yavaş | 3–4 |
| M3 Pro | hiçbir boyut yetmez | Çok büyük | – |
| M3 | hiçbir boyut yetmez | Çok büyük | – |
| M2 Ultra | 128 GB | 4 bit Yavaş | 5–9 |
| M2 Max | 64 GB | 2 bit Yavaş | 5–8 |
| M2 Pro | hiçbir boyut yetmez | Çok büyük | – |
| M2 | hiçbir boyut yetmez | Çok büyük | – |
| M1 Ultra | 128 GB | 4 bit Yavaş | 5–9 |
| M1 Max | 64 GB | 2 bit Yavaş | 5–8 |
| M1 Pro | hiçbir boyut yetmez | Çok büyük | – |
| M1 | hiçbir boyut yetmez | Çok büyük | – |
Nasıl çalıştırılır
- Kolay yol: ücretsiz ve açık kaynak MLX Harness uygulamasını indirin. Mistral Medium 3.5 (128B) modelini arayın, Mac'inize uyan sürümü indirin ve sohbet edin. Model, OpenAI uyumlu bir API üzerinden diğer uygulamalarınıza da sunulur.MLX Harness'yu indirinÜcretsiz · Apple Silicon · macOS 14.5 veya üstü
- Apple'ın MLX'iyle Terminal'de:
pip install mlx-lmmlx_lm.chat --model mlx-community/Mistral-Medium-3.5-128B-4bitDerleme: Hugging Face'te mlx-community/Mistral-Medium-3.5-128B-4bit. Diğer hassasiyetler hemen yanında.
Adım adım: Mac'te LLM indirip çalıştırma · MLX Harness nasıl kullanılır · MLX, Ollama ve llama.cpp karşılaştırması
Mistral Medium 3.5 (128B) hakkında
| Geliştiren | Mistral AI |
|---|---|
| Parametreler | 128B (yoğun) |
| Bağlam | 256K token |
| Lisans | Modified MIT (exceptions for companies with large revenue) |
| Yayın tarihi | 2026-03 |
| Girdi | Metin ve görseller |
| Zekâ | Artificial Analysis Intelligence Index puanı: 14,2 |
| Ağırlıklar | mistralai/Mistral-Medium-3.5-128B |
Sorular
- Mistral Medium 3.5 (128B) ne kadar bellek gerektirir?
- 4 bit ile yaklaşık 72 GB ağırlık, artı bağlam için yer: toplam 77,8 GB. macOS varsayılan olarak GPU'nun belleğin yaklaşık %75'ini kullanmasına izin verdiği için bu, Mac'te 128 GB veya daha fazla birleşik bellek demektir.
- Mistral Medium 3.5 (128B) Mac'te ne kadar hızlı?
- Yazma hızı bellek bant genişliğine bağlıdır. Burada onun için en hızlı Mac, 128 GB'lık M2 Ultra: saniyede yaklaşık 5–9 token (4 bit). Onu çalıştıran en küçük Mac, 128 GB'lık M2 Ultra, yaklaşık 5–9 token yazar.
- Kuantizasyon Mistral Medium 3.5 (128B) modeline zarar verir mi?
- 4 bitte çoğu model özgün kaliteye yakın kalır; 4 bitin altında kalite daha hızlı düşer. Mac'inize pay bırakarak sığan en yüksek hassasiyeti seçin.
Benzer modeller
Model kartınız veya README için
Mistral Medium 3.5 (128B) modelini iyi çalıştıran en küçük Mac'i gösterir ve buraya bağlantı verir.
[](https://mlx.app/run/mistral-medium-3.5)Nasıl hesaplanır
Bellek: modelin parametreleri ağırlık başına 8, 6, 4, 3 veya 2 bitte, artı MLX'in grup ölçekleri (ağırlık başına yarım bit) ya da modelin yerel biçimi; üstüne bağlam için yer. macOS varsayılan olarak GPU'nun birleşik belleğin yaklaşık %75'ini kullanmasına izin verir. Hız: bellek bant genişliğinin token başına okunan bayt sayısına bölümü, tek bir sohbet için üst sınırdır; llama.cpp'nin herkese açık Apple Silicon karşılaştırmalarında gerçek çalıştırmalar bunun yaklaşık %45 ile %80'ine ulaşır ve gösterilen aralık budur. Bunlar ölçüm değil tahmindir: kendi Mac'inizi MLX Bench ile ölçün. Model verileri her modelin resmî model kartından, çip verileri Apple'ın Teknik Özellikler sayfalarından alınmıştır. Kontrol tarihi: 2026-10-19. mlx.app/compare ile aynı veriler.