W skrócie
- Wagi: parametry × bity na wagę ÷ 8. W 4-bitowym formacie MLX to około 0,56 GB na miliard parametrów; w 8 bitach około 1,06 GB, w 16 bitach 2 GB.
- Model 8B potrzebuje więc około 4,5 GB w 4 bitach, model 32B około 18 GB, a model 70B około 39 GB, jeszcze przed kontekstem.
- Kontekst (KV cache) dochodzi do tego i rośnie z każdym tokenem: dla Qwen3 8B kontekst 32 000 tokenów zajmuje około 4,8 GB, więcej niż jego 4-bitowe wagi.
- Na Macu GPU może domyślnie użyć około 75% pamięci zunifikowanej, więc Mac z 16 GB ma na model około 12 GB. Na PC model musi zmieścić się we własnej pamięci VRAM karty graficznej, by działać z pełną szybkością.
1Zasada: parametry × bity
Model to głównie jego wagi: jedna liczba na parametr. Zapisana w 16 bitach zajmuje 2 bajty, więc model potrzebuje 2 GB na miliard parametrów. Kwantyzacja zapisuje każdą wagę w mniejszej liczbie bitów, co zmniejsza model niemal proporcjonalnie; w 4 bitach większość modeli zachowuje jakość bliską oryginałowi.
Formaty kwantyzowane przechowują też trochę dodatkowych danych do odtworzenia wag. MLX od Apple domyślnie trzyma skalę i przesunięcie (bias) dla każdej grupy 64 wag, w 16-bitowym typie samego modelu (MLX), co dodaje pół bita na wagę. Daje to takie rozmiary:
| Precyzja | Bity na wagę | GB na miliard parametrów |
|---|---|---|
| 16-bit (oryginał) | 16 | 2,0 |
| 8-bit | 8,5 | ok. 1,06 |
| 6-bit | 6,5 | ok. 0,81 |
| 4-bit | 4,5 | ok. 0,56 |
| 3-bit | 3,5 | ok. 0,44 |
| 2-bit | 2,5 | ok. 0,31 |
Poniżej 4 bitów jakość spada szybciej. Dobra zasada domyślna: najwyższa precyzja, która mieści się z zapasem.
2Pamięć dla typowych rozmiarów modeli
| Rozmiar modelu | 16-bit | 8-bit | 4-bit | 3-bit |
|---|---|---|---|---|
| 1B | 2 GB | 1,1 GB | 0,6 GB | 0,4 GB |
| 3B | 6 GB | 3,2 GB | 1,7 GB | 1,3 GB |
| 8B | 16 GB | 8,5 GB | 4,5 GB | 3,5 GB |
| 14B | 28 GB | 14,9 GB | 7,9 GB | 6,1 GB |
| 32B | 64 GB | 34 GB | 18 GB | 14 GB |
| 70B | 140 GB | 74,4 GB | 39,4 GB | 30,6 GB |
| 120B | 240 GB | 127,5 GB | 67,5 GB | 52,5 GB |
| 235B | 470 GB | 249,7 GB | 132,2 GB | 102,8 GB |
| 405B | 810 GB | 430,3 GB | 227,8 GB | 177,2 GB |
| 671B | 1342 GB | 712,9 GB | 377,4 GB | 293,6 GB |
Niektóre modele są wydawane od razu w niskiej precyzji. gpt-oss-120b od OpenAI ma 117 miliardów parametrów i trzyma wagi ekspertów (mixture-of-experts) w 4-bitowym formacie MXFP4, więc mieści się na jednym GPU z 80 GB (OpenAI). Dla konkretnego modelu otwórz jego stronę: każdy otwarty model i Mac, którego potrzebuje, na przykład gpt-oss-120b albo Llama 3.3 70B.
3Kontekst też zajmuje pamięć
Gdy model czyta i pisze, w każdej warstwie przechowuje klucz i wartość dla każdego tokenu rozmowy: to KV cache. Jego rozmiar to 2 × warstwy × głowice KV × rozmiar głowicy × bajty na wartość × tokeny.
Qwen3 8B ma na przykład 36 warstw, 8 głowic KV i rozmiar głowicy 128, zapisane w 16 bitach (config). To 147 456 bajtów na token:
| Kontekst | KV cache dla Qwen3 8B (16-bit) |
|---|---|
| 8192 tokeny | ok. 1,2 GB |
| 32 768 tokenów | ok. 4,8 GB |
| 40 960 tokenów (pełny kontekst) | ok. 6,0 GB |
Modele z grouped-query attention, takie jak ten, mają mniej głowic KV niż głowic uwagi (8 wobec 32), co już zmniejsza cache czterokrotnie. Więcej zaoszczędzisz, kwantyzując cache: serwer mlx-lm przyjmuje --kv-bits 4 (mlx-lm). Do czatu wystarczy kilka tysięcy tokenów kontekstu; dla agentów, długich dokumentów lub kodu zaplanuj kilka gigabajtów.
4Jak duży model zmieści się na Macu
Pamięć Maca jest wspólna dla CPU i GPU, a macOS domyślnie pozwala GPU użyć tylko jej części. Nasza strona Porównanie liczy około 75%; README mlx-lm pokazuje, jak podnieść ten limit w macOS 15 lub nowszym poleceniem sudo sysctl iogpu.wired_limit_mb=N (mlx-lm), ale macOS i inne aplikacje nadal potrzebują miejsca.
| Pamięć Maca | Dla GPU (ok. 75%) | Największy model w 4 bitach | Największy w 8 bitach |
|---|---|---|---|
| 8 GB | 6 GB | ok. 10B | ok. 5B |
| 16 GB | 12 GB | ok. 21B | ok. 11B |
| 24 GB | 18 GB | ok. 32B | ok. 16B |
| 32 GB | 24 GB | ok. 42B | ok. 22B |
| 36 GB | 27 GB | ok. 48B | ok. 25B |
| 48 GB | 36 GB | ok. 64B | ok. 33B |
| 64 GB | 48 GB | ok. 85B | ok. 45B |
| 96 GB | 72 GB | ok. 128B | ok. 67B |
| 128 GB | 96 GB | ok. 170B | ok. 90B |
| 256 GB | 192 GB | ok. 341B | ok. 180B |
| 512 GB | 384 GB | ok. 682B | ok. 361B |
Pamięć decyduje, co się zmieści; przepustowość pamięci decyduje, jak szybko model pisze. Najlepszy Mac do lokalnych LLM wyjaśnia tę drugą połowę, a ranking wszystkich Maców łączy obie.
5RAM, VRAM i pamięć zunifikowana
Na PC z kartą graficzną model działa z pełną szybkością tylko wtedy, gdy mieści się we własnej pamięci karty, czyli VRAM: 32 GB w RTX 5090 (NVIDIA). Warstwy, które się nie zmieszczą, mogą działać z systemowej pamięci RAM komputera, ale jej odczyt jest dużo wolniejszy, więc model mocno zwalnia.
Mac nie ma osobnej pamięci VRAM: GPU czyta tę samą pamięć zunifikowaną co CPU, dlatego Mac z 64 GB lub 128 GB mieści modele, których nie pomieści żadna pojedyncza konsumencka karta graficzna. Kilka komputerów PC działa dziś tak samo, na przykład DGX Spark od NVIDIA i maszyny z AMD Ryzen AI Max ze 128 GB wspólnymi dla CPU i GPU: zobacz M5 Max vs DGX Spark i M5 Max vs RTX 5090.
6Modele mixture-of-experts
Model mixture-of-experts trzyma w pamięci wszystkie parametry, ale dla każdego tokenu używa tylko kilku z nich. Pamięć zależy od całości, szybkość od części aktywnej. gpt-oss-20b ma 21 miliardów parametrów, z czego 3,6 miliarda aktywnych (OpenAI): potrzebuje pamięci jak model 21B, a pisze mniej więcej tak szybko jak model 4B.
Dlatego modele mixture-of-experts dobrze pasują do Maców, które w porównaniu z kartami graficznymi mają więcej pamięci niż przepustowości. Porównanie pokazuje obie liczby dla każdego popularnego modelu.
7Pytania
- Ile RAM potrzeba do modelu 70B?
- Około 39 GB na wagi w 4 bitach plus kontekst: w praktyce Mac z 64 GB lub więcej albo kilka kart graficznych. W 8 bitach potrzebuje około 74 GB, czyli 128 GB.
- Czy 16 GB RAM wystarczy do uruchomienia LLM?
- Tak, dla modeli do około 14B parametrów w 4 bitach: Mac z 16 GB domyślnie daje GPU około 12 GB. Modele 8B działają swobodnie, z miejscem na kontekst. Zobacz najlepsze LLM dla Maca z 16 GB.
- Ile VRAM potrzebuje model 8B?
- Około 4,5 GB w 4 bitach, 8,5 GB w 8 bitach i 16 GB w 16 bitach, plus około 1,2 GB na kontekst 8000 tokenów w przypadku Qwen3 8B.
- Czy długość kontekstu zużywa pamięć?
- Tak. KV cache rośnie z każdym tokenem rozmowy. Dla Qwen3 8B to około 147 KB na token w 16 bitach: około 4,8 GB przy 32 000 tokenów.
- Czy mogę uruchomić model większy niż mój RAM?
- Nie w użyteczny sposób. Jeśli wagi się nie mieszczą, system korzysta z pliku wymiany albo czyta z wolniejszej pamięci i generowanie niemal staje. Użyj niższej precyzji, mniejszego modelu lub modelu mixture-of-experts albo rozłóż go na kilka maszyn: zobacz klastry AI z Maców.