Коротко
- Веса: параметры × биты на вес ÷ 8. В 4-битном формате MLX это около 0,56 ГБ на миллиард параметров; в 8 битах — около 1,06 ГБ, в 16 битах — 2 ГБ.
- Значит, модели 8B нужно около 4,5 ГБ в 4 битах, модели 32B — около 18 ГБ, модели 70B — около 39 ГБ, и это без контекста.
- Контекст (KV-кэш) идет сверху и растет с каждым токеном: у Qwen3 8B контекст в 32 000 токенов занимает около 4,8 ГБ — больше, чем ее 4-битные веса.
- На Mac GPU по умолчанию может использовать около 75% объединенной памяти, так что у Mac с 16 ГБ для модели есть около 12 ГБ. На ПК модель должна поместиться в собственную видеопамять (VRAM) видеокарты, чтобы работать на полной скорости.
1Правило: параметры × биты
Модель — это в основном ее веса: по одному числу на параметр. В 16 битах каждое занимает 2 байта, так что модели нужно 2 ГБ на миллиард параметров. Квантование хранит каждый вес меньшим числом бит, и модель уменьшается почти пропорционально; в 4 битах большинство моделей остаются близки к исходному качеству.
Квантованные форматы хранят еще немного данных, чтобы восстановить веса. MLX от Apple по умолчанию хранит масштаб и смещение для каждой группы из 64 весов в собственном 16-битном типе модели (MLX), что добавляет полбита на вес. Получаются такие размеры:
| Точность | Бит на вес | ГБ на миллиард параметров |
|---|---|---|
| 16 бит (исходная) | 16 | 2,0 |
| 8 бит | 8,5 | около 1,06 |
| 6 бит | 6,5 | около 0,81 |
| 4 бита | 4,5 | около 0,56 |
| 3 бита | 3,5 | около 0,44 |
| 2 бита | 2,5 | около 0,31 |
Ниже 4 бит качество падает быстрее. Хороший выбор по умолчанию — самая высокая точность, которая помещается с запасом.
2Память для распространенных размеров моделей
| Размер модели | 16 бит | 8 бит | 4 бита | 3 бита |
|---|---|---|---|---|
| 1B | 2 ГБ | 1,1 ГБ | 0,6 ГБ | 0,4 ГБ |
| 3B | 6 ГБ | 3,2 ГБ | 1,7 ГБ | 1,3 ГБ |
| 8B | 16 ГБ | 8,5 ГБ | 4,5 ГБ | 3,5 ГБ |
| 14B | 28 ГБ | 14,9 ГБ | 7,9 ГБ | 6,1 ГБ |
| 32B | 64 ГБ | 34 ГБ | 18 ГБ | 14 ГБ |
| 70B | 140 ГБ | 74,4 ГБ | 39,4 ГБ | 30,6 ГБ |
| 120B | 240 ГБ | 127,5 ГБ | 67,5 ГБ | 52,5 ГБ |
| 235B | 470 ГБ | 249,7 ГБ | 132,2 ГБ | 102,8 ГБ |
| 405B | 810 ГБ | 430,3 ГБ | 227,8 ГБ | 177,2 ГБ |
| 671B | 1 342 ГБ | 712,9 ГБ | 377,4 ГБ | 293,6 ГБ |
Некоторые модели выходят сразу в низкой точности. У gpt-oss-120b от OpenAI 117 миллиардов параметров, а веса mixture-of-experts хранятся в 4-битном формате MXFP4, поэтому модель помещается на один GPU с 80 ГБ (OpenAI). Для конкретной модели откройте ее страницу: все открытые модели и нужный им Mac, например gpt-oss-120b или Llama 3.3 70B.
3Контекст тоже занимает память
Пока модель читает и пишет, она хранит в каждом слое ключ и значение для каждого токена диалога: это KV-кэш. Его размер — 2 × слои × KV-головы × размер головы × байты на значение × токены.
У Qwen3 8B, например, 36 слоев, 8 KV-голов и размер головы 128, хранятся в 16 битах (config). Это 147 456 байт на токен:
| Контекст | KV-кэш Qwen3 8B (16 бит) |
|---|---|
| 8 192 токена | около 1,2 ГБ |
| 32 768 токенов | около 4,8 ГБ |
| 40 960 токенов (весь контекст) | около 6,0 ГБ |
Модели с grouped-query attention, как эта, хранят меньше KV-голов, чем голов внимания (8 против 32), что уже уменьшает кэш вчетверо. Еще больше можно сэкономить, квантовав кэш: сервер mlx-lm принимает --kv-bits 4 (mlx-lm). Для чата хватит нескольких тысяч токенов контекста; для агентов, длинных документов или кода закладывайте несколько гигабайт.
4Какая модель поместится на Mac
Память Mac общая для процессора и GPU, и macOS по умолчанию отдает GPU только ее часть. Наша страница Compare считает около 75%; в README mlx-lm показано, как поднять предел в macOS 15 или новее командой sudo sysctl iogpu.wired_limit_mb=N (mlx-lm), но macOS и другим приложениям все равно нужно место.
| Память Mac | Для GPU (около 75%) | Крупнейшая модель в 4 битах | Крупнейшая в 8 битах |
|---|---|---|---|
| 8 ГБ | 6 ГБ | около 10B | около 5B |
| 16 ГБ | 12 ГБ | около 21B | около 11B |
| 24 ГБ | 18 ГБ | около 32B | около 16B |
| 32 ГБ | 24 ГБ | около 42B | около 22B |
| 36 ГБ | 27 ГБ | около 48B | около 25B |
| 48 ГБ | 36 ГБ | около 64B | около 33B |
| 64 ГБ | 48 ГБ | около 85B | около 45B |
| 96 ГБ | 72 ГБ | около 128B | около 67B |
| 128 ГБ | 96 ГБ | около 170B | около 90B |
| 256 ГБ | 192 ГБ | около 341B | около 180B |
| 512 ГБ | 384 ГБ | около 682B | около 361B |
Память решает, что поместится; пропускная способность памяти — насколько быстро модель пишет. Вторую половину объясняет руководство о лучшем Mac для локальных LLM, а рейтинг всех Mac сводит обе.
5ОЗУ, видеопамять и объединенная память
На ПК с видеокартой модель работает на полной скорости, только если помещается в собственную память карты, ее VRAM: 32 ГБ у RTX 5090 (NVIDIA). Слои, которые не поместились, могут работать из системной ОЗУ компьютера, но она читается намного медленнее, и модель сильно замедляется.
У Mac нет отдельной видеопамяти: GPU читает ту же объединенную память, что и процессор, поэтому Mac с 64 или 128 ГБ вмещает модели, которые не поместятся ни на одну потребительскую видеокарту. Некоторые ПК теперь устроены так же, например DGX Spark от NVIDIA и машины на AMD Ryzen AI Max со 128 ГБ, общими для процессора и GPU: см. M5 Max vs DGX Spark и M5 Max vs RTX 5090.
6Модели mixture-of-experts
Модель mixture-of-experts держит в памяти все параметры, но для каждого токена использует лишь несколько из них. Память зависит от общего числа параметров, скорость — от активной части. У gpt-oss-20b 21 миллиард параметров, из них 3,6 миллиарда активных (OpenAI): памяти ей нужно как модели 21B, а пишет она примерно как модель 4B.
Поэтому модели mixture-of-experts хорошо подходят для Mac, у которых по сравнению с видеокартами больше памяти, чем пропускной способности. Compare показывает оба числа для каждой популярной модели.
7Вопросы
- Сколько памяти нужно для модели 70B?
- Около 39 ГБ на веса в 4 битах плюс контекст: на практике Mac с 64 ГБ или больше либо несколько видеокарт. В 8 битах нужно около 74 ГБ, то есть 128 ГБ.
- Хватит ли 16 ГБ оперативной памяти для LLM?
- Да, для моделей примерно до 14B параметров в 4 битах: Mac с 16 ГБ по умолчанию отдает GPU около 12 ГБ. Модели 8B работают свободно, с запасом под контекст. См. лучшие LLM для Mac с 16 ГБ.
- Сколько видеопамяти нужно модели 8B?
- Около 4,5 ГБ в 4 битах, 8,5 ГБ в 8 битах и 16 ГБ в 16 битах, плюс около 1,2 ГБ на контекст в 8 000 токенов в случае Qwen3 8B.
- Занимает ли память длина контекста?
- Да. KV-кэш растет с каждым токеном диалога. У Qwen3 8B это около 147 КБ на токен в 16 битах: около 4,8 ГБ при 32 000 токенов.
- Можно ли запустить модель больше моей оперативной памяти?
- С пользой — нет. Если веса не помещаются, система уходит в своп или читает из более медленной памяти, и генерация еле ползет. Возьмите меньшую точность, модель поменьше или модель mixture-of-experts либо распределите ее по нескольким машинам: см. кластеры Mac для ИИ.