1Parametry, które liczą się w AI
| Pamięć zunifikowana | 512 GB |
|---|---|
| Przepustowość pamięci | 1,2 TB/s |
| Występuje w | Mac Studio (2026) |
| Dedykowane miejsce dla niego | Miejsce Ultra Latest: wydobywa do 480 MLX dziennie |
2Które modele się zmieszczą
Przy 4 bitach na wagę model potrzebuje nieco ponad pół gigabajta na każdy miliard parametrów, plus miejsca na kontekst i macOS. Mając do dyspozycji 512 GB, układ M5 Ultra swobodnie mieści modele do około 682 mld parametrów.
| Model w 4 bitach | Potrzebna pamięć | Mieści się w układzie M5 Ultra |
|---|---|---|
| Model 8B | 4,5 GB | Tak |
| Model 14B | 7,9 GB | Tak |
| Model 32B | 18 GB | Tak |
| Model 70B | 39,4 GB | Tak |
| gpt-oss-120b, mixture-of-experts | 65 GB | Tak |
| Qwen3.5-397B-A17B, mixture-of-experts | 223,3 GB | Tak |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | Tak |
3Jak szybko działa
Pisanie tekstu ogranicza przepustowość pamięci: każdy nowy token to jednokrotny odczyt aktywnych wag modelu. Dzieląc 1,2 TB/s układu M5 Ultra przez liczbę bajtów odczytywanych na token, otrzymujemy pułap podany niżej. W praktyce osiąga się zwykle od 45% do 80% tej wartości (benchmarki llama.cpp).
| Model w 4 bitach | Odczyt na token | Pułap dla jednej rozmowy |
|---|---|---|
| Model 8B | 4,5 GB | 267 tok/s |
| Model 14B | 7,9 GB | 152 tok/s |
| Model 32B | 18 GB | 67 tok/s |
| Model 70B | 39,4 GB | 30 tok/s |
| gpt-oss-120b, mixture-of-experts | 2,7 GB | 444 tok/s |
| Qwen3.5-397B-A17B, mixture-of-experts | 9,6 GB | 125 tok/s |
| DeepSeek-V4.1-Flash, mixture-of-experts | 9 GB | 133 tok/s |
Zmierzono: w konfiguracji M5 Ultra (80-core GPU) llama.cpp generuje w publicznych benchmarkach 179 tok/s z Llama-2-7B (Q4_0).
Układy generacji M5 mają akceleratory neuronowe w GPU, więc czytają prompty kilka razy szybciej niż M4: według pomiarów Apple pierwszy token pojawia się z MLX od 3,3 do 4,1 raza szybciej (Apple).
5Porównaj z innymi układami
6Pytania
- Czy układ M5 Ultra uruchomi model 70B?
- Tak. Model 70B w 4 bitach potrzebuje około 40 GB, a układ M5 Ultra ma do 512 GB. Pułap dla jednej rozmowy to około 30 tokenów na sekundę.
- Ile tokenów na sekundę osiąga układ M5 Ultra?
- Dla modelu 8B w 4 bitach pułap wynosi około 267 tokenów na sekundę, a w praktyce osiąga się mniej więcej od połowy do czterech piątych tej wartości. Większe modele są proporcjonalnie wolniejsze.
- Czy układ M5 Ultra nadaje się do AI?
- Przy lokalnym uruchamianiu modeli najważniejsze są pamięć i przepustowość. Układ M5 Ultra ma do 512 GB przy 1,2 TB/s, co wystarcza na modele do około 682 mld parametrów. Może też zarabiać, wykonując pracę AI dla MLX Network w MLX Node.
Źródła
- Apple: M6 and M5 Ultraapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com