Czy układ M3 Pro uruchomi model 70B?

Nie swobodnie. Model 70B w 4 bitach potrzebuje około 40 GB, a układ M3 Pro ma najwyżej 36 GB. Dobrze mieszczą się modele do około 48 mld parametrów.

Ile tokenów na sekundę osiąga układ M3 Pro?

Dla modelu 8B w 4 bitach pułap wynosi około 33 tokenów na sekundę, a w praktyce osiąga się mniej więcej od połowy do czterech piątych tej wartości. Większe modele są proporcjonalnie wolniejsze.

Czy układ M3 Pro nadaje się do AI?

Przy lokalnym uruchamianiu modeli najważniejsze są pamięć i przepustowość. Układ M3 Pro ma do 36 GB przy 150 GB/s, co wystarcza na modele do około 48 mld parametrów. Może też zarabiać, wykonując pracę AI dla MLX Network w MLX Node.

M3 Pro do lokalnych LLM: pamięć, szybkość, modele

1Parametry, które liczą się w AI

Pamięć zunifikowana	36 GB
Przepustowość pamięci	150 GB/s
Występuje w	14- and 16-inch MacBook Pro (2023)
Dedykowane miejsce dla niego	Miejsce Pro: wydobywa do 80 MLX dziennie

2Które modele się zmieszczą

Przy 4 bitach na wagę model potrzebuje nieco ponad pół gigabajta na każdy miliard parametrów, plus miejsca na kontekst i macOS. Mając do dyspozycji 36 GB, układ M3 Pro swobodnie mieści modele do około 48 mld parametrów.

Model w 4 bitach	Potrzebna pamięć	Mieści się w układzie M3 Pro
Model 8B	4,5 GB	Tak
Model 14B	7,9 GB	Tak
Model 32B	18 GB	Tak
Model 70B	39,4 GB	Nie
gpt-oss-120b, mixture-of-experts	65 GB	Nie
Qwen3.5-397B-A17B, mixture-of-experts	223,3 GB	Nie
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	Nie

3Jak szybko działa

Pisanie tekstu ogranicza przepustowość pamięci: każdy nowy token to jednokrotny odczyt aktywnych wag modelu. Dzieląc 150 GB/s układu M3 Pro przez liczbę bajtów odczytywanych na token, otrzymujemy pułap podany niżej. W praktyce osiąga się zwykle od 45% do 80% tej wartości (benchmarki llama.cpp).

Model w 4 bitach	Odczyt na token	Pułap dla jednej rozmowy
Model 8B	4,5 GB	33 tok/s
Model 14B	7,9 GB	19 tok/s
Model 32B	18 GB	8 tok/s

5Porównaj z innymi układami

6Pytania

Czy układ M3 Pro uruchomi model 70B?: Nie swobodnie. Model 70B w 4 bitach potrzebuje około 40 GB, a układ M3 Pro ma najwyżej 36 GB. Dobrze mieszczą się modele do około 48 mld parametrów.
Ile tokenów na sekundę osiąga układ M3 Pro?: Dla modelu 8B w 4 bitach pułap wynosi około 33 tokenów na sekundę, a w praktyce osiąga się mniej więcej od połowy do czterech piątych tej wartości. Większe modele są proporcjonalnie wolniejsze.
Czy układ M3 Pro nadaje się do AI?: Przy lokalnym uruchamianiu modeli najważniejsze są pamięć i przepustowość. Układ M3 Pro ma do 36 GB przy 150 GB/s, co wystarcza na modele do około 48 mld parametrów. Może też zarabiać, wykonując pracę AI dla MLX Network w MLX Node.

Źródła

Apple: M3, M3 Pro and M3 Maxapple.com
Apple: MacBook Pro (M3 Pro or M3 Max) specssupport.apple.com