Pobierz i uruchom LLM na swoim Macu.

1Gdzie szukać modeli

Hugging Face hostuje większość modeli z otwartymi wagami. Ten sam model zwykle występuje w kilku wersjach, a format decyduje, która aplikacja może go uruchomić:

Nie wiesz, którego środowiska użyć? Porównuje je poradnik MLX vs Ollama vs llama.cpp. Dopiero zaczynasz? Zacznij od uruchamiania LLM na Macu.

2Wybierz rozmiar dopasowany do pamięci

Wagi modelu muszą zmieścić się w pamięci z zapasem. MLX przechowuje skwantyzowaną wagę jako jej bity plus wspólną skalę i przesunięcie dla każdej grupy 64 wag, czyli około pół bita więcej na wagę (MLX). Dlatego 4 bity kosztują około 0,56 GB na miliard parametrów, a 8 bitów około 1,06 GB.

Domyślnie macOS pozwala GPU używać tylko części pamięci zunifikowanej; Compare zakłada około trzech czwartych, a README mlx-lm pokazuje, jak podnieść limit w macOS 15 lub nowszym poleceniem sudo sysctl iogpu.wired_limit_mb=N (mlx-lm). W modelach mixture of experts o pamięci decyduje łączna liczba parametrów, a o szybkości liczba aktywnych parametrów. Compare wykonuje te obliczenia dla każdego popularnego modelu i każdego układu Apple, a poradnik najlepszy Mac do lokalnych LLM wyjaśnia, dlaczego szybkość wyznacza przepustowość.

3Kwantyzacja: 4 bity, 8 bitów i reszta

Kwantyzacja zapisuje każdą wagę na mniejszej liczbie bitów, więc model zajmuje mniej pamięci i działa szybciej, kosztem pewnej utraty jakości. 4 bity to typowy punkt wyjścia na Macu. 8 bitów jest bliżej oryginału i zajmuje dwa razy więcej. Poniżej 4 bitów pliki są małe, ale odpowiedzi szybciej się pogarszają, więc próbuj ich tylko wtedy, gdy większy model inaczej by się nie zmieścił.

• Wersje MLX mówią o tym w nazwie: -4bit, -8bit, a czasem są to wersje o mieszanej precyzji, które zostawiają wrażliwe warstwy z większą liczbą bitów.
• Pliki GGUF używają nazw z llama.cpp: Q4_K_M, Q5_K_M, Q8_0 i tak dalej. Gdy uruchamiasz w Ollama repozytorium GGUF z Hugging Face bez wskazania wariantu, wybiera Q4_K_M, jeśli jest dostępny (Hugging Face).
• Zrób własną wersję MLX z oryginalnych wag: mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q zapisuje kopię 4-bitową (mlx-lm).

4Miejsce na dysku i gdzie są przechowywane modele

Plik do pobrania jest mniej więcej tak duży jak wagi w tabeli powyżej, więc 4-bitowy model 8B to kilka gigabajtów, a model 70B to dziesiątki gigabajtów. Testowanie kilku rozmiarów lub wersji tego samego modelu szybko się sumuje.

mlx-lm i inne narzędzia Hugging Face przechowują pobrane pliki w ~/.cache/huggingface/hub; ustaw HF_HOME lub HF_HUB_CACHE, aby to zmienić. hf cache ls pokazuje zawartość, a hf cache rm usuwa model (Hugging Face). Ollama i LM Studio trzymają modele we własnych folderach i same nimi zarządzają.

5Modele z ograniczonym dostępem i tokeny Hugging Face

Niektóre modele, w tym Llama, mają ograniczony dostęp (gated): przed pobraniem musisz zaakceptować warunki twórcy (Hugging Face).

1. Zaloguj się na bezpłatne konto Hugging Face i otwórz stronę modelu.
2. Zaakceptuj warunki przyciskiem na stronie (domyślnie Agree and send request to access repo). Niektórzy twórcy zatwierdzają prośby ręcznie, co trwa dłużej.
3. Utwórz token dostępu w ustawieniach Hugging Face.
4. Przekaż token swoim narzędziom: uruchom hf auth login w Terminalu dla mlx-lm i innych narzędzi Hugging Face (Hugging Face) albo wklej go w polu tokena Hugging Face w aplikacji.

6Uruchom go: cztery sposoby

mlx-lm: MLX od Apple w Terminalu

Zainstaluj go przez pip, a potem wskaż dowolny model MLX z Hugging Face; przy pierwszym uruchomieniu zostanie pobrany (mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server udostępnia model innym aplikacjom przez API w stylu OpenAI pod localhost:8080 (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: aplikacja z przeglądarką modeli

LM Studio wyszukuje i pobiera modele z Hugging Face w samej aplikacji i uruchamia na Apple Silicon zarówno modele MLX, jak i GGUF przez llama.cpp. Wymaga Apple Silicon i macOS 14 lub nowszego, a zaleca 16 GB pamięci lub więcej (LM Studio).

Ollama: jedno polecenie

Ollama uruchamia modele z własnej biblioteki oraz bezpośrednio dowolne repozytorium GGUF z Hugging Face, opcjonalnie z tagiem kwantyzacji (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: nasza bezpłatna aplikacja

MLX Harness to nasza bezpłatna aplikacja na Maca zbudowana na vMLX: wyszukuje modele MLX na Hugging Face, prowadzi czaty, uruchamia narzędzia i modele graficzne oraz udostępnia wszystko przez lokalne API. Jej bramka też używa portu 8080, więc nie uruchamiaj jej równolegle z mlx_lm.server na tym samym porcie. Gdy nie korzystasz z Maca, MLX Node może zamiast tego udostępnić go sieci MLX Network.

7Pytania

Skąd pobrać LLM na Maca?

Z Hugging Face. Szukaj wersji MLX, wielu publikowanych przez mlx-community, lub plików GGUF. LM Studio i Ollama mogą je za Ciebie wyszukać i pobrać.

Jaki rozmiar modelu pobrać?

Taki, którego wagi swobodnie mieszczą się w pamięci Maca: przy 4 bitach około 0,56 GB na miliard parametrów, czyli około 4,5 GB dla modelu 8B i 39 GB dla 70B, plus miejsce na kontekst. Compare na mlx.app sprawdzi to dla Twojego Maca.

MLX czy GGUF na Macu?

Oba dobrze działają na Apple Silicon. Wersje MLX są tworzone dla MLX od Apple i działają w mlx-lm, LM Studio i MLX Harness; pliki GGUF działają w llama.cpp, Ollama i LM Studio.

Czy potrzebuję konta Hugging Face?

Nie dla modeli publicznych. Modele z ograniczonym dostępem wymagają bezpłatnego konta, zaakceptowanej licencji i tokena dostępu.

Czy mogę uruchamiać pobrane modele offline?

Tak. Gdy pliki są już na Macu, model działa bez połączenia z internetem, a Twoje prompty zostają na Macu.