Uruchom LLM na Macu.

1Co zmieści się na Twoim Macu

Wagi modelu muszą zmieścić się w pamięci z zapasem na kontekst i macOS. Przy 4 bitach na wagę licz od 0,55 do 0,6 GB na miliard parametrów.

Szybkość to osobna kwestia: każdy nowy token wymaga jednokrotnego odczytu aktywnych wag z pamięci, więc liczba tokenów na sekundę rośnie wraz z przepustowością pamięci. Nasz poradnik o najlepszym Macu do lokalnych LLM omawia każdy układ.

2Najprościej: LM Studio

LM Studio to bezpłatna aplikacja na Maca z oknem czatu i przeglądarką modeli. Na Apple Silicon uruchamia modele w formacie MLX od Apple, a także w formacie GGUF używanym przez llama.cpp.

1. Pobierz LM Studio i otwórz je.
2. Wyszukaj model (na Apple Silicon wybieraj wersję MLX) i wybierz rozmiar, który zmieści się w pamięci.
3. Załaduj go i zacznij rozmawiać. Możesz też włączyć lokalny serwer dla innych aplikacji.

3Jedno polecenie: Ollama

Ollama uruchamia modele z terminala i udostępnia je innym aplikacjom na Macu. Po instalacji jedno polecenie pobiera i uruchamia model:

ollama run llama3.2

Od wersji 0.19 Ollama na Apple Silicon ma wersję zapoznawczą opartą na frameworku MLX od Apple dla obsługiwanych modeli, z dużym przyspieszeniem; wersja zapoznawcza wymaga Maca z więcej niż 32 GB pamięci (Ollama).

4Najszybciej: MLX od Apple i mlx-lm

MLX to otwartoźródłowy framework Apple do uczenia maszynowego na Apple Silicon, a mlx-lm to jego pakiet do modeli językowych. Tysiące gotowych modeli udostępnia organizacja mlx-community na Hugging Face.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

Użyj mlx_lm.chat, by rozmawiać w terminalu, i mlx_lm.server, by uruchomić lokalne API, które mogą wywoływać inne aplikacje. Na układach M5 MLX korzysta z nowych akceleratorów neuronowych w GPU: według pomiarów Apple pierwszy token pojawia się od 3,3 do 4,1 raza szybciej niż na M4 (Apple Machine Learning Research).

5Zmierz, a potem zaprzęgnij do pracy

MLX Bench to otwarty ranking szybkości MLX na każdym układzie Apple Silicon: tokeny na sekundę przy generowaniu i przetwarzaniu promptu oraz szczytowe zużycie pamięci. Uruchom jednoplikowy skrypt na swoim Macu i zobacz, gdzie się znajdzie.

Gdy nie używasz Maca, może uruchamiać AI dla innych. MLX Node to bezpłatna aplikacja, która wykonuje zadania AI dla MLX Network na tym samym frameworku MLX i zarabia tokeny MLX za zweryfikowaną pracę, w ustawionych przez Ciebie limitach.

6Pytania

Czy MacBook Air uruchomi LLM?

Tak. MacBook Air z 16 GB swobodnie uruchamia modele 7B–14B w 4 bitach, a z 32 GB modele do ok. 30B. Będzie wolniejszy niż Mac z układem Pro lub Max, który ma większą przepustowość pamięci.

Czy MLX jest szybsze niż Ollama na Macu?

Często tak, bo MLX jest napisane dla Apple Silicon. Sama Ollama w swojej wersji zapoznawczej opartej na MLX podaje duże przyspieszenie na Apple Silicon. Nasz poradnik MLX vs Ollama porównuje je szczegółowo.

Czy lokalne modele działają offline?

Tak. Po pobraniu model działa w całości na Twoim Macu, a Twoje prompty nigdy go nie opuszczają.

Ile pamięci potrzeba do modelu 70B?

Około 40 GB na wagi w 4 bitach, więc Mac z 64 GB lub więcej. Modele mixture-of-experts o podobnej jakości mogą potrzebować więcej pamięci, ale działają szybciej.