Mac'in neleri çalıştırabilir?
Mac'ini ya da başka herhangi bir makineyi seç; hangi açık yapay zekâ modellerinin belleğine sığdığını ve onları ne hızda çalıştırdığını gör. Her modelin model kartından ve her çipin yayımlanmış bellek ve bant genişliği değerlerinden hesaplanır.
Apple M5, 16 GB: varsayılan olarak modeller için yaklaşık 12 GB, 153 GB/s bellek bant genişliği. 43 popüler modelden 20 tanesi üzerinde çalışır. Sayfası Ölçülen: llama.cpp'de 4 bitlik Llama 2 7B ile saniyede 32 token (M5 (10-core GPU)).
Zekâ: Artificial Analysis Intelligence Index v4.3.2, ölçüldüğü yerde. Model adları resmî model kartlarına bağlanır.
Nasıl hesaplanır
Bellek. Her model sığdığı en yüksek hassasiyette gösterilir: ağırlık başına 8, 6, 4, 3 veya 2 bit, artı MLX'in grup ölçekleri (ağırlık başına yarım bit) ya da model öyle yayımlanıyorsa kendi yerel biçimi. Mac'te GPU varsayılan olarak birleşik belleğin yaklaşık %75'ini kullanabilir; bunun üstüne bağlam için yer bırakıyoruz.
Hız. Yazarken her token tüm etkin ağırlıkları bir kez okur; bu yüzden bellek bant genişliğinin bu bayt sayısına bölümü tek bir sohbetin üst sınırıdır. llama.cpp'nin herkese açık Apple Silicon testlerinde gerçek çalıştırmalar bunun yaklaşık %45 ile %80'ine ulaşıyor; gösterilen aralık budur. Uzun bir istemin okunması ise işlem gücüne bağlıdır ve burada gösterilmez.
Kaynaklar. Parametreler, bağlam ve lisanslar her modelin Hugging Face'teki resmî kartından (adından bağlantılı); bellek ve bant genişliği Apple'ın ve üreticilerin teknik özelliklerinden alınır. Kontrol tarihi: 2026-10-19. Kendi Mac'ini MLX Bench ile ölç. Tüm Mac'ler, tüm modeller ve eksiksiz uyum tablosu JSON ve CSV olarak ücretsiz indirilebilir: açık veri.
Göz at. 8 GB'lık M1'den 512 GB'lık M5 Ultra'ya tüm Mac'ler ve her birinin çalıştırdığı modeller; ayrıca tüm modeller ve ihtiyaç duydukları en küçük Mac.
Çalıştır. Adım adım: Mac'te LLM indirip çalıştırma, MLX, Ollama ve llama.cpp karşılaştırması ve yerel LLM için en iyi Mac. Mac'in boştayken MLX Token kazanabilir.
- Bir LLM'in Mac'imde çalışıp çalışmayacağını nasıl anlarım?
- Modelin istediğin hassasiyetteki boyutunu Mac'inin birleşik belleğiyle karşılaştır. macOS varsayılan olarak bunun yaklaşık %75'ini GPU'ya kullandırır, model de bağlamı için yer ister. 4 bitlik bir model, milyar parametre başına yarım gigabayttan biraz fazlasına ihtiyaç duyar.
- Saniyede kaç token alırım?
- Yazma hızını bellek bant genişliği sınırlar: her token modelin etkin ağırlıklarını bir kez okur. Bant genişliğinin token başına okunan bayta bölümü tek bir sohbetin üst sınırıdır; gerçek çalıştırmalar genellikle bunun yaklaşık %45 ile %80'ine ulaşır.
- Uzman karışımı (MoE) modeller neden daha hızlı çalışır?
- Bellekte çok sayıda uzman tutarlar ama her token için yalnızca birkaçını kullanırlar; böylece her token çok daha az bayt okur. Modelin tamamı için bellek gerekir, ama hız çok daha küçük bir modelinki kadardır.
- 4 bit yeterli mi?
- Çoğu modelde 4 bit, kaliteyi orijinale yakın tutar. 4 bitin altında kalite daha hızlı düşer; bu yüzden 4 bitin altındaki sürümler işaretlenir.