Najlepszy Mac do lokalnych LLM.

1Dlaczego pamięć i przepustowość decydują o wszystkim

Model językowy pisze po jednym tokenie i przy każdym odczytuje z pamięci wszystkie aktywne wagi. Granica szybkości pojedynczej rozmowy to więc w przybliżeniu przepustowość pamięci podzielona przez rozmiar aktywnych wag. W publicznych benchmarkach llama.cpp rzeczywiste generowanie osiąga na układach Apple od 43% do 80% tej granicy (llama.cpp).

Czytanie promptu to co innego: tę część ogranicza moc obliczeniowa, dlatego układy generacji M5, z akceleratorami neuronowymi w GPU, przetwarzają prompty kilka razy szybciej niż wcześniejsze (Apple).

2Wszystkie układy w porównaniu

Starsze układy nadal dobrze sobie radzą, jeśli mają dość pamięci. M1 Max lub M2 Max z 64 GB odczytuje 400 GB/s, więcej niż jakikolwiek dzisiejszy układ podstawowy, a z drugiej ręki często kosztuje dużo mniej.

3Którego Maca kupić

Na próbę: MacBook Air lub Mac mini z 16–32 GB

Swobodnie uruchamia modele 7B–14B, a przy 32 GB modele klasy 30B. Wystarczy do czatu, pisania i drobnej pomocy przy kodzie.

Najlepszy stosunek ceny do możliwości: układ Pro z 64 GB

Mac mini lub MacBook Pro z M4 Pro lub M5 Pro mieści modele klasy 70B i uruchamia średnie modele w dobrym tempie. Złoty środek dla większości programistów.

Poważne lokalne AI: układ Max ze 128 GB

Uruchamia gpt-oss-120b (ok. 65 GB w 4 bitach) na laptopie; z przepustowości podanej przez Apple wynika, że teoretyczny pułap dla jednego strumienia na M5 Max to około 225 tokenów na sekundę. Najlepszy wybór przenośny.

Największe modele: Mac Studio z Ultra

Do 512 GB przy 1,2 TB/s z M5 Ultra mieści modele z setkami miliardów parametrów na jednym biurku. Dla jeszcze większych modeli Maki można połączyć w klaster przez Thunderbolt 5: zobacz klastry AI z Maców.

4Niech Mac na siebie zarabia

Mac kupiony do AI przez większość czasu czeka. MLX Node to bezpłatna aplikacja, która użycza tej wolnej mocy MLX Network: wykonuje zadania AI na tym samym frameworku MLX i zarabia tokeny MLX za zweryfikowaną pracę. Dedykowane miejsce dopasowane do układu mnoży zarobki: miejsce Pro działa z pełną stawką na układzie Pro lub Max, a miejsce Ultra na układzie Ultra.

Najpierw porównaj swojego Maca w MLX Bench: pokazuje zmierzone tokeny na sekundę dla otwartych modeli na każdym układzie.

5Pytania

Czy 16 GB wystarczy do lokalnego LLM?

Tak, dla modeli do ok. 14B parametrów w 4 bitach. Przy większych modelach albo długim kontekście 32 GB lub więcej jest dużo wygodniejsze.

Mac Studio czy MacBook Pro do LLM?

Oba są dostępne z układami Max i do 128 GB. MacBook Pro jest przenośny; Mac Studio pozostaje chłodniejszy pod długim obciążeniem i tylko on oferuje układy Ultra i do 512 GB.

Czy Mac jest lepszy od GPU Nvidia do lokalnego AI?

Przy największych modelach w domu często tak: pamięć zunifikowana Maca pomieści dużo więcej niż pamięć konsumenckiej karty graficznej. Wysokiej klasy karta Nvidia jest szybsza przy modelach, które mieszczą się w jej pamięci.

Czy M5 przyspiesza LLM?

Tak, głównie przy czytaniu promptów: według pomiarów Apple z MLX pierwszy token pojawia się na M5 od 3,3 do 4,1 raza szybciej niż na M4. Szybkość generowania rośnie z przepustowością pamięci, która z M4 do M5 wzrosła o 28%.