1Yapay zekâ için önemli özellikler
| Birleşik bellek | 512 GB |
|---|---|
| Bellek bant genişliği | 1,2 TB/s |
| Bulunduğu Mac'ler | Mac Studio (2026) |
| Ona uygun özel koltuk | Ultra Latest koltuk: günde en fazla 480 MLX kazar |
2Hangi modeller sığar
Ağırlık başına 4 bitte bir model, her milyar parametre için yarım gigabayttan biraz fazla belleğe, ayrıca bağlamı ve macOS için yere ihtiyaç duyar. M5 Ultra çipi, 512 GB bellekle yaklaşık 682 milyar parametreye kadar modelleri rahatça barındırır.
| 4 bit model | Gereken bellek | M5 Ultra çipine sığar mı |
|---|---|---|
| 8B model | 4,5 GB | Evet |
| 14B model | 7,9 GB | Evet |
| 32B model | 18 GB | Evet |
| 70B model | 39,4 GB | Evet |
| gpt-oss-120b, mixture-of-experts | 65 GB | Evet |
| Qwen3.5-397B-A17B, mixture-of-experts | 223,3 GB | Evet |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | Evet |
3Ne kadar hızlı çalışır
Metin üretimini bellek bant genişliği sınırlar: her yeni token, modelin etkin ağırlıklarını bir kez okur. M5 Ultra çipinin 1,2 TB/s değerini token başına okunan bayt sayısına bölmek aşağıdaki tavanı verir. Gerçek kullanımda genellikle bunun yaklaşık %45 ila %80'ine ulaşılır (llama.cpp karşılaştırmaları).
| 4 bit model | Token başına okunan | Tek sohbet için tavan |
|---|---|---|
| 8B model | 4,5 GB | 267 token/s |
| 14B model | 7,9 GB | 152 token/s |
| 32B model | 18 GB | 67 token/s |
| 70B model | 39,4 GB | 30 token/s |
| gpt-oss-120b, mixture-of-experts | 2,7 GB | 444 token/s |
| Qwen3.5-397B-A17B, mixture-of-experts | 9,6 GB | 125 token/s |
| DeepSeek-V4.1-Flash, mixture-of-experts | 9 GB | 133 token/s |
Ölçülen: llama.cpp, herkese açık karşılaştırmalarında M5 Ultra (80-core GPU) üzerinde Llama-2-7B (Q4_0) ile saniyede 179 token üretiyor.
M5 nesli çipler GPU'ya nöral hızlandırıcılar ekler, bu yüzden istemleri M4'ten birkaç kat daha hızlı okur: Apple'ın ölçümüne göre MLX ile ilk token 3,3 ila 4,1 kat daha erken geliyor (Apple).
5Diğer çiplerle karşılaştırın
6Sorular
- M5 Ultra çipi 70B bir modeli çalıştırabilir mi?
- Evet. 4 bitte 70B bir model yaklaşık 40 GB ister; M5 Ultra çipinde ise en fazla 512 GB bellek var. Tek sohbet için tavan saniyede yaklaşık 30 token olur.
- M5 Ultra çipi saniyede kaç token üretir?
- 4 bitte 8B bir model için tavan saniyede yaklaşık 267 token; gerçek kullanımda bunun kabaca yarısı ile beşte dördü arasına ulaşılır. Daha büyük modeller orantılı olarak daha yavaştır.
- M5 Ultra çipi yapay zekâ için iyi mi?
- Modelleri yerelde çalıştırırken en önemli şey bellek ve bant genişliğidir. M5 Ultra çipi 1,2 TB/s hızında en fazla 512 GB bellek sunar; bu, yaklaşık 682 milyar parametreye kadar modeller için yeterlidir. MLX Node ile MLX Network'e yapay zekâ işleri çalıştırarak kazanç da sağlayabilir.
Kaynaklar
- Apple: M6 and M5 Ultraapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com