Zaloguj sięUtwórz portfel

Układ M1 Ultra do lokalnego AI.

Układ M1 Ultra ma do 128 GB pamięci zunifikowanej, odczytywanej z prędkością do 800 GB/s. Oto, co to oznacza dla uruchamiania modeli językowych na Macu z tym układem, wyliczone na podstawie danych samego Apple.

1Parametry, które liczą się w AI

Pamięć zunifikowana128 GB
Przepustowość pamięci800 GB/s
Występuje wMac Studio (2022)
Dedykowane miejsce dla niegoMiejsce Ultra: wydobywa do 320 MLX dziennie

2Które modele się zmieszczą

Przy 4 bitach na wagę model potrzebuje nieco ponad pół gigabajta na każdy miliard parametrów, plus miejsca na kontekst i macOS. Mając do dyspozycji 128 GB, układ M1 Ultra swobodnie mieści modele do około 170 mld parametrów.

Model w 4 bitachPotrzebna pamięćMieści się w układzie M1 Ultra
Model 8B4,5 GBTak
Model 14B7,9 GBTak
Model 32B18 GBTak
Model 70B39,4 GBTak
gpt-oss-120b, mixture-of-experts65 GBTak
Qwen3.5-397B-A17B, mixture-of-experts223,3 GBNie
DeepSeek-V4.1-Flash, mixture-of-experts316 GBNie

3Jak szybko działa

Pisanie tekstu ogranicza przepustowość pamięci: każdy nowy token to jednokrotny odczyt aktywnych wag modelu. Dzieląc 800 GB/s układu M1 Ultra przez liczbę bajtów odczytywanych na token, otrzymujemy pułap podany niżej. W praktyce osiąga się zwykle od 45% do 80% tej wartości (benchmarki llama.cpp).

Model w 4 bitachOdczyt na tokenPułap dla jednej rozmowy
Model 8B4,5 GB178 tok/s
Model 14B7,9 GB101 tok/s
Model 32B18 GB44 tok/s
Model 70B39,4 GB20 tok/s
gpt-oss-120b, mixture-of-experts2,7 GB296 tok/s

5Porównaj z innymi układami

6Pytania

Czy układ M1 Ultra uruchomi model 70B?
Tak. Model 70B w 4 bitach potrzebuje około 40 GB, a układ M1 Ultra ma do 128 GB. Pułap dla jednej rozmowy to około 20 tokenów na sekundę.
Ile tokenów na sekundę osiąga układ M1 Ultra?
Dla modelu 8B w 4 bitach pułap wynosi około 178 tokenów na sekundę, a w praktyce osiąga się mniej więcej od połowy do czterech piątych tej wartości. Większe modele są proporcjonalnie wolniejsze.
Czy układ M1 Ultra nadaje się do AI?
Przy lokalnym uruchamianiu modeli najważniejsze są pamięć i przepustowość. Układ M1 Ultra ma do 128 GB przy 800 GB/s, co wystarcza na modele do około 170 mld parametrów. Może też zarabiać, wykonując pracę AI dla MLX Network w MLX Node.

Źródła

  1. Apple: M1 Ultraapple.com
  2. llama.cpp: Apple Silicon benchmarksgithub.com
M1 Ultra do lokalnych LLM: pamięć, szybkość, modele | MLX