Czy układ M2 Ultra uruchomi model 70B?

Tak. Model 70B w 4 bitach potrzebuje około 40 GB, a układ M2 Ultra ma do 192 GB. Pułap dla jednej rozmowy to około 20 tokenów na sekundę.

Ile tokenów na sekundę osiąga układ M2 Ultra?

Dla modelu 8B w 4 bitach pułap wynosi około 178 tokenów na sekundę, a w praktyce osiąga się mniej więcej od połowy do czterech piątych tej wartości. Większe modele są proporcjonalnie wolniejsze.

Czy układ M2 Ultra nadaje się do AI?

Przy lokalnym uruchamianiu modeli najważniejsze są pamięć i przepustowość. Układ M2 Ultra ma do 192 GB przy 800 GB/s, co wystarcza na modele do około 256 mld parametrów. Może też zarabiać, wykonując pracę AI dla MLX Network w MLX Node.

M2 Ultra do lokalnych LLM: pamięć, szybkość, modele

1Parametry, które liczą się w AI

Pamięć zunifikowana	192 GB
Przepustowość pamięci	800 GB/s
Występuje w	Mac Studio (2023), Mac Pro (2023)
Dedykowane miejsce dla niego	Miejsce Ultra: wydobywa do 320 MLX dziennie

2Które modele się zmieszczą

Przy 4 bitach na wagę model potrzebuje nieco ponad pół gigabajta na każdy miliard parametrów, plus miejsca na kontekst i macOS. Mając do dyspozycji 192 GB, układ M2 Ultra swobodnie mieści modele do około 256 mld parametrów.

Model w 4 bitach	Potrzebna pamięć	Mieści się w układzie M2 Ultra
Model 8B	4,5 GB	Tak
Model 14B	7,9 GB	Tak
Model 32B	18 GB	Tak
Model 70B	39,4 GB	Tak
gpt-oss-120b, mixture-of-experts	65 GB	Tak
Qwen3.5-397B-A17B, mixture-of-experts	223,3 GB	Nie
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	Nie

3Jak szybko działa

Pisanie tekstu ogranicza przepustowość pamięci: każdy nowy token to jednokrotny odczyt aktywnych wag modelu. Dzieląc 800 GB/s układu M2 Ultra przez liczbę bajtów odczytywanych na token, otrzymujemy pułap podany niżej. W praktyce osiąga się zwykle od 45% do 80% tej wartości (benchmarki llama.cpp).

Model w 4 bitach	Odczyt na token	Pułap dla jednej rozmowy
Model 8B	4,5 GB	178 tok/s
Model 14B	7,9 GB	101 tok/s
Model 32B	18 GB	44 tok/s
Model 70B	39,4 GB	20 tok/s
gpt-oss-120b, mixture-of-experts	2,7 GB	296 tok/s

5Porównaj z innymi układami

6Pytania

Czy układ M2 Ultra uruchomi model 70B?: Tak. Model 70B w 4 bitach potrzebuje około 40 GB, a układ M2 Ultra ma do 192 GB. Pułap dla jednej rozmowy to około 20 tokenów na sekundę.
Ile tokenów na sekundę osiąga układ M2 Ultra?: Dla modelu 8B w 4 bitach pułap wynosi około 178 tokenów na sekundę, a w praktyce osiąga się mniej więcej od połowy do czterech piątych tej wartości. Większe modele są proporcjonalnie wolniejsze.
Czy układ M2 Ultra nadaje się do AI?: Przy lokalnym uruchamianiu modeli najważniejsze są pamięć i przepustowość. Układ M2 Ultra ma do 192 GB przy 800 GB/s, co wystarcza na modele do około 256 mld parametrów. Może też zarabiać, wykonując pracę AI dla MLX Network w MLX Node.

Źródła

Apple: M2 Ultraapple.com
llama.cpp: Apple Silicon benchmarksgithub.com