Kısaca
- Mac mini 64 GB'a (M5 Pro), Mac Studio ise M5 Max ile 128 GB'a, M5 Ultra ile 512 GB'a kadar çıkar (Apple, Apple).
- Yazma hızını bant genişliği belirler: M6'lı Mac mini'de 153–170 GB/s, M5 Pro'da 307 GB/s, M5 Max'te 614 GB/s'ye, M5 Ultra'da 1.200 GB/s'ye kadar.
- 4 bitte yaklaşık 30B parametreye kadar modeller: M5 Pro'lu bir Mac mini yeter. 70B sınıfı modeller, gpt-oss-120b veya uzun bağlamlar: 128 GB'lık bir Mac Studio. En büyük açık modeller: M5 Ultra'lı bir Mac Studio.
- Bellek sonradan yükseltilemez; bu yüzden onu yalnızca bugün değil, gelecek yıl çalıştırmak istediğiniz modellere göre seçin.
1Yapay zekâ için önemli teknik özellikler
| Mac | Bellek seçenekleri | Bellek bant genişliği | 4 bitte en büyük model | Güç, boştan azamiye |
|---|---|---|---|---|
| Mac mini, M6 | 16, 24 veya 32 GB | 153–170 GB/s | yaklaşık 21B ila 42B | 4–70 W |
| Mac mini, M5 Pro | 24, 48 veya 64 GB | 307 GB/s | yaklaşık 32B ila 85B | 6–145 W |
| Mac Studio, M5 Max | 36, 48, 64 veya 128 GB | 460–614 GB/s | yaklaşık 48B ila 170B | 7–200 W |
| Mac Studio, M5 Ultra | 96, 256 veya 512 GB | 1.200 GB/s | yaklaşık 128B ila 682B | 9–385 W |
Her yapılandırma, üzerinde iyi çalışan modellere bağlanır. Önceki modeller de aynı şekilde çalışır: M4 veya M4 Pro'lu Mac mini ve M4 Max veya M3 Ultra'lı Mac Studio (sıralanmış tüm Mac'ler).
2Her biri ne kadar hızlı yazar
Metin yazarken model, her token için etkin ağırlıklarını bir kez okur; bu yüzden bellek bant genişliği hıza bir tavan koyar. 4 bitte yaklaşık 18 GB tutan 32B yoğun (dense) bir model için:
| Mac | Tek sohbet için tavan | Sığar mı? |
|---|---|---|
| Mac mini, M6 (32 GB) | yaklaşık 9 token/sn | Evet |
| Mac mini, M5 Pro (48 veya 64 GB) | yaklaşık 17 token/sn | Evet |
| Mac Studio, M5 Max (48 GB veya üstü) | yaklaşık 34 token/sn | Evet |
| Mac Studio, M5 Ultra | yaklaşık 67 token/sn | Evet |
Uzmanlar karışımı (MoE) modeller her token için ağırlıklarının yalnızca bir kısmını okur; bu yüzden boyutlarının düşündürdüğünden çok daha hızlı yazarlar: sığıp sığmadıklarına bellek karar verir, hızı yine bant genişliği belirler. Uzun bir istemi okumak ise bant genişliğine değil GPU'nun işlem gücüne bağlıdır ve orada Max ve Ultra çiplerin daha büyük GPU'ları farkı açar.
3Hangi modeller için hangisi
- Küçük ve orta boy modeller (4 bitte yaklaşık 30B'ye kadar), sohbet, kodlama yardımcıları, evde bir yapay zekâ sunucusu: 48 veya 64 GB'lık bir M5 Pro'lu Mac mini. 32 GB'lık M6 Mac mini aynı boyutları yaklaşık yarı hızda çalıştırır.
- 70B sınıfı modeller, gpt-oss-120b, uzun bağlamlar veya aynı anda birkaç model: 128 GB'lık bir M5 Max'li Mac Studio. OpenAI'ın kendi gpt-oss-120b dosyaları yaklaşık 65 GB'tır (OpenAI); bu, hiçbir Mac mini'nin GPU'suna verebileceğinden fazladır.
- En büyük açık modeller (yüz milyarlarca parametre): 256 veya 512 GB'lık bir M5 Ultra'lı Mac Studio ya da birlikte çalışan birkaç Mac (Mac yapay zekâ kümeleri).
Belirli bir model için sayfası, onu çalıştıran en küçük Mac'i ve her çipteki hızı gösterir: her açık model.
4Gün boyu çalıştırmak
İkisi de sessiz ve verimli, sürekli açık makinelerdir. Yukarıdaki Apple rakamlarına göre Mac mini boştayken 4–6 W, Mac Studio 7–9 W çeker; tam yükte M5 Ultra'lı Mac Studio 385 W'a kadar çekebilir. Mac mini yapay zekâ sunucusu rehberi onu uyanık tutmayı ve modelleri diğer cihazlara sunmayı, bir Mac ne kadar elektrik harcar rehberi de bir günün maliyetini anlatır.
Boştayken MLX Node, MLX Network için yapay zekâ işleri çalıştırıp MLX Tokens kazanabilir. Çipe uygun bir özel koltuk daha hızlı kazar: M6 için Core, M5 Pro ve M5 Max için Pro, M5 Ultra için Ultra. Kazançlar garanti değildir: riskleri okuyun.
5Sorular
- Yapay zekâ için Mac Studio, Mac mini'ye göre buna değer mi?
- Yaklaşık 85B parametrenin üzerindeki modelleri, gpt-oss-120b'yi veya uzun bağlamları istiyorsanız evet: 64 GB'tan fazla bellek yalnızca Mac Studio'da var. 4 bitte yaklaşık 30B'ye kadar modelleri M5 Pro'lu bir Mac mini, M5 Max'in yaklaşık yarısı kadar bant genişliğiyle çalıştırır.
- Mac mini 70B bir model çalıştırabilir mi?
- Yalnızca 64 GB'lık M5 Pro, 4 bitte ve kısa bir bağlamla: GPU'nun varsayılan olarak kullanabildiği 48 GB'ın içinde yaklaşık 39 GB ağırlık, saniyede birkaç token. 128 GB'lık bir Mac Studio onu bağlama yer bırakarak ve yaklaşık iki kat hızlı çalıştırır.
- LLM için Mac Studio M5 Max mı M5 Ultra mı?
- M5 Ultra'nın bant genişliği yaklaşık iki kattır (614'e karşı 1.200 GB/s); yani yaklaşık iki kat hızlı yazar ve 512 GB'a kadar çıkar. 128 GB'lık M5 Max, 4 bitte yaklaşık 170B'ye kadar modelleri kapsar. M5 Max vs M5 Ultra sayfasına bakın.
- Yapay zekâ için Mac mini M6 mı M5 Pro mu?
- M5 Pro: belleği 24 veya 32 GB'lık M6'dan yaklaşık %80 daha hızlı okur ve 32 GB yerine 64 GB'a kadar çıkar.
Kaynaklar
- Applesupport.apple.com
- Applesupport.apple.com
- Mac minisupport.apple.com
- Mac Studiosupport.apple.com
- llama.cpp ölçümlerigithub.com
- OpenAIhuggingface.co