Коротко
- Ваги: параметри × біти на вагу ÷ 8. У 4-бітному форматі MLX це близько 0,56 ГБ на мільярд параметрів; у 8 бітах — близько 1,06 ГБ, у 16 бітах — 2 ГБ.
- Отже, моделі 8B потрібно близько 4,5 ГБ у 4 бітах, моделі 32B — близько 18 ГБ, а моделі 70B — близько 39 ГБ, і це ще без контексту.
- Контекст (KV cache) додається зверху й росте з кожним токеном: для Qwen3 8B контекст на 32 000 токенів займає близько 4,8 ГБ — більше, ніж її 4-бітні ваги.
- На Mac GPU типово може використовувати близько 75% об’єднаної пам’яті, тож у Mac на 16 ГБ для моделі є близько 12 ГБ. На ПК модель має вміститися у власну відеопам’ять (VRAM) відеокарти, щоб працювати на повній швидкості.
1Правило: параметри × біти
Модель — це здебільшого її ваги: по одному числу на параметр. У 16 бітах кожне займає 2 байти, тож моделі потрібно 2 ГБ на мільярд параметрів. Квантування зберігає кожну вагу меншою кількістю бітів, і модель зменшується майже пропорційно; у 4 бітах більшість моделей лишаються близькими до початкової якості.
Квантовані формати зберігають ще й трохи додаткових даних, щоб відновити ваги. MLX від Apple типово тримає масштаб і зсув для кожної групи з 64 ваг у власному 16-бітному типі моделі (MLX), що додає пів біта на вагу. Звідси такі розміри:
| Точність | Бітів на вагу | ГБ на мільярд параметрів |
|---|---|---|
| 16 біт (оригінал) | 16 | 2,0 |
| 8 біт | 8,5 | близько 1,06 |
| 6 біт | 6,5 | близько 0,81 |
| 4 біти | 4,5 | близько 0,56 |
| 3 біти | 3,5 | близько 0,44 |
| 2 біти | 2,5 | близько 0,31 |
Нижче 4 бітів якість падає швидше. Добрий вибір за замовчуванням — найвища точність, що вміщається із запасом.
2Пам’ять для поширених розмірів моделей
| Розмір моделі | 16 біт | 8 біт | 4 біти | 3 біти |
|---|---|---|---|---|
| 1B | 2 ГБ | 1,1 ГБ | 0,6 ГБ | 0,4 ГБ |
| 3B | 6 ГБ | 3,2 ГБ | 1,7 ГБ | 1,3 ГБ |
| 8B | 16 ГБ | 8,5 ГБ | 4,5 ГБ | 3,5 ГБ |
| 14B | 28 ГБ | 14,9 ГБ | 7,9 ГБ | 6,1 ГБ |
| 32B | 64 ГБ | 34 ГБ | 18 ГБ | 14 ГБ |
| 70B | 140 ГБ | 74,4 ГБ | 39,4 ГБ | 30,6 ГБ |
| 120B | 240 ГБ | 127,5 ГБ | 67,5 ГБ | 52,5 ГБ |
| 235B | 470 ГБ | 249,7 ГБ | 132,2 ГБ | 102,8 ГБ |
| 405B | 810 ГБ | 430,3 ГБ | 227,8 ГБ | 177,2 ГБ |
| 671B | 1 342 ГБ | 712,9 ГБ | 377,4 ГБ | 293,6 ГБ |
Деякі моделі постачаються одразу в низькій точності. gpt-oss-120b від OpenAI має 117 мільярдів параметрів і зберігає ваги своєї суміші експертів у 4-бітному форматі MXFP4, тож вміщається на одному GPU з 80 ГБ (OpenAI). Для конкретної моделі відкрийте її сторінку: кожна відкрита модель і Mac, який їй потрібен, наприклад gpt-oss-120b або Llama 3.3 70B.
3Контекст теж займає пам’ять
Поки модель читає й пише, вона зберігає ключ і значення для кожного токена розмови в кожному шарі: це KV cache. Його розмір — 2 × шари × KV-голови × розмір голови × байти на значення × токени.
Наприклад, у Qwen3 8B 36 шарів, 8 KV-голів і розмір голови 128, у 16 бітах (config). Це 147 456 байтів на токен:
| Контекст | KV cache для Qwen3 8B (16 біт) |
|---|---|
| 8 192 токени | близько 1,2 ГБ |
| 32 768 токенів | близько 4,8 ГБ |
| 40 960 токенів (повний контекст) | близько 6,0 ГБ |
Моделі з груповою увагою запитів (grouped-query attention), як ця, мають менше KV-голів, ніж голів уваги (8 проти 32), що вже зменшує кеш учетверо. Заощадити більше можна, квантувавши кеш: сервер mlx-lm приймає --kv-bits 4 (mlx-lm). Для чату кількох тисяч токенів контексту цілком досить; для агентів, довгих документів чи коду закладайте кілька гігабайтів.
4Яка найбільша модель вміститься на Mac
Пам’ять Mac спільна для процесора й GPU, і macOS типово дозволяє GPU використовувати лише її частину. Наша сторінка Compare рахує близько 75%; у README mlx-lm показано, як підняти цю межу в macOS 15 або новішій командою sudo sysctl iogpu.wired_limit_mb=N (mlx-lm), але macOS та іншим вашим застосункам усе одно потрібне місце.
| Пам’ять Mac | Для GPU (близько 75%) | Найбільша модель у 4 бітах | Найбільша у 8 бітах |
|---|---|---|---|
| 8 ГБ | 6 ГБ | близько 10B | близько 5B |
| 16 ГБ | 12 ГБ | близько 21B | близько 11B |
| 24 ГБ | 18 ГБ | близько 32B | близько 16B |
| 32 ГБ | 24 ГБ | близько 42B | близько 22B |
| 36 ГБ | 27 ГБ | близько 48B | близько 25B |
| 48 ГБ | 36 ГБ | близько 64B | близько 33B |
| 64 ГБ | 48 ГБ | близько 85B | близько 45B |
| 96 ГБ | 72 ГБ | близько 128B | близько 67B |
| 128 ГБ | 96 ГБ | близько 170B | близько 90B |
| 256 ГБ | 192 ГБ | близько 341B | близько 180B |
| 512 ГБ | 384 ГБ | близько 682B | близько 361B |
Пам’ять вирішує, що вміститься; пропускна здатність пам’яті — наскільки швидко модель пише. Найкращий Mac для локальних LLM пояснює другу половину, а усі Mac у рейтингу поєднують обидві.
5RAM, VRAM і об’єднана пам’ять
На ПК з відеокартою модель працює на повній швидкості, лише якщо вміщається у власну пам’ять карти, її VRAM: 32 ГБ у RTX 5090 (NVIDIA). Шари, що не вмістилися, можуть працювати із системної оперативної пам’яті ПК, але вона читається значно повільніше, тож модель сильно сповільнюється.
У Mac немає окремої VRAM: GPU читає ту саму об’єднану пам’ять, що й процесор, тому Mac із 64 ГБ або 128 ГБ вміщає моделі, які не вмістить жодна споживча відеокарта. Кілька ПК тепер влаштовані так само, наприклад DGX Spark від NVIDIA та машини AMD Ryzen AI Max зі 128 ГБ, спільними для процесора й GPU: дивіться M5 Max проти DGX Spark і M5 Max проти RTX 5090.
6Моделі із сумішшю експертів
Модель із сумішшю експертів (mixture-of-experts) тримає в пам’яті всі параметри, але для кожного токена використовує лише кілька з них. Пам’ять залежить від загальної кількості, швидкість — від активної частини. gpt-oss-20b має 21 мільярд параметрів, з них 3,6 мільярда активні (OpenAI): пам’яті їй потрібно як моделі 21B, а пише вона приблизно так само швидко, як модель 4B.
Тому моделі із сумішшю експертів добре підходять для Mac, у яких, порівняно з відеокартами, пам’яті більше, ніж пропускної здатності. Compare показує обидва числа для кожної популярної моделі.
7Запитання
- Скільки оперативної пам’яті потрібно для моделі 70B?
- Близько 39 ГБ на ваги в 4 бітах плюс контекст: на практиці Mac із 64 ГБ або більше чи кілька відеокарт. У 8 бітах їй потрібно близько 74 ГБ, тобто 128 ГБ.
- Чи вистачить 16 ГБ оперативної пам’яті для LLM?
- Так, для моделей приблизно до 14B параметрів у 4 бітах: Mac на 16 ГБ типово дає GPU близько 12 ГБ. Моделі 8B працюють комфортно, із запасом на контекст. Дивіться найкращі LLM для Mac на 16 ГБ.
- Скільки VRAM потрібно моделі 8B?
- Близько 4,5 ГБ у 4 бітах, 8,5 ГБ у 8 бітах і 16 ГБ у 16 бітах, плюс близько 1,2 ГБ на контекст у 8 000 токенів — для Qwen3 8B.
- Чи займає довжина контексту пам’ять?
- Так. KV cache росте з кожним токеном розмови. Для Qwen3 8B це близько 147 КБ на токен у 16 бітах: близько 4,8 ГБ на 32 000 токенів.
- Чи можна запустити модель, більшу за мою оперативну пам’ять?
- Не з користю. Якщо ваги не вміщаються, система використовує своп або читає з повільнішої пам’яті, і генерація ледве повзе. Візьміть нижчу точність, меншу модель або модель із сумішшю експертів чи розподіліть її між кількома машинами: дивіться кластери Mac для ШІ.