Скільки пам’яті потрібно моделі Llama 3.2 1B Instruct?

Близько 0,7 ГБ на ваги (4 біт) плюс місце для контексту: загалом 2,2 ГБ. На Mac це означає 8 ГБ об’єднаної пам’яті або більше, адже за замовчуванням macOS дає GPU близько 75% пам’яті.

Наскільки швидко Llama 3.2 1B Instruct працює на Mac?

Швидкість генерації залежить від пропускної здатності пам’яті. Найшвидший Mac для неї тут — M5 Ultra із 96 ГБ: близько 415–738 токенів за секунду (8 біт). Мінімальний Mac, що її запускає, — M3 із 8 ГБ — видає близько 35–62.

Чи погіршує квантування Llama 3.2 1B Instruct?

За 4 біт більшість моделей лишаються близькими до початкової якості; нижче 4 біт якість падає швидше. Обирайте найвищу точність, яка вміщується у ваш Mac із запасом.

Чи потягне Mac Llama 3.2 1B Instruct? Пам’ять і швидкість

Пам’ять за кожної точності

Версія	Ваги	З контекстом	Мінімальний Mac
8 біт	1,3 ГБ	2,8 ГБ	8 ГБ
6 біт	1 ГБ	2,5 ГБ	8 ГБ
4 біт	0,7 ГБ	2,2 ГБ	8 ГБ
3 біт нижча якість	0,5 ГБ	2 ГБ	8 ГБ
2 біт нижча якість	0,4 ГБ	1,9 ГБ	8 ГБ

На кожному чипі Apple

Мінімальний обсяг пам’яті кожного чипа, на якому запускається Llama 3.2 1B Instruct, найкраща версія, що вміщується, і очікувана швидкість генерації.

Чип	Потрібно	Версія	Токенів/с
M6	16 ГБ	8 біт Працює добре	53–94
M5 Ultra	96 ГБ	8 біт Працює добре	415–738
M5 Max	36 ГБ	8 біт Працює добре	159–283
M5 Pro	24 ГБ	8 біт Працює добре	106–189
M5	16 ГБ	8 біт Працює добре	53–94
M4 Max	36 ГБ	8 біт Працює добре	142–252
M4 Pro	24 ГБ	8 біт Працює добре	95–168
M4	16 ГБ	8 біт Працює добре	42–74
M3 Ultra	96 ГБ	8 біт Працює добре	284–504
M3 Max	36 ГБ	8 біт Працює добре	104–185
M3 Pro	18 ГБ	8 біт Працює добре	52–92
M3	8 ГБ	8 біт Працює добре	35–62
M2 Ultra	64 ГБ	8 біт Працює добре	277–492
M2 Max	32 ГБ	8 біт Працює добре	138–246
M2 Pro	16 ГБ	8 біт Працює добре	69–123
M2	8 ГБ	8 біт Працює добре	35–62
M1 Ultra	64 ГБ	8 біт Працює добре	277–492
M1 Max	32 ГБ	8 біт Працює добре	138–246
M1 Pro	16 ГБ	8 біт Працює добре	69–123
M1	8 ГБ	8 біт Працює добре	24–42

Як запустити

Найпростіший спосіб: завантажте MLX Harness — безкоштовно і з відкритим кодом. Знайдіть Llama 3.2 1B Instruct, завантажте версію, яка підходить вашому Mac, і спілкуйтеся. Застосунок також віддає модель іншим вашим програмам через API, сумісний з OpenAI.Завантажити MLX HarnessБезкоштовно · Apple Silicon · macOS 14.5 або новіша
У Терміналі з MLX від Apple:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-3.2-1B-Instruct-4bitЗбірка: mlx-community/Llama-3.2-1B-Instruct-4bit на Hugging Face. Поруч лежать версії з іншою точністю.

Покроково: завантажити й запустити LLM на Mac · як користуватися MLX Harness · MLX, Ollama і llama.cpp

Про модель Llama 3.2 1B Instruct

Розробник	Meta
Параметри	1,23B (щільна)
Контекст	токенів: 128K
Ліцензія	Llama 3.2 Community License
Випуск	2024-09
Вхідні дані	Текст
Ваги	meta-llama/Llama-3.2-1B-Instruct

Запитання

Скільки пам’яті потрібно моделі Llama 3.2 1B Instruct?: Близько 0,7 ГБ на ваги (4 біт) плюс місце для контексту: загалом 2,2 ГБ. На Mac це означає 8 ГБ об’єднаної пам’яті або більше, адже за замовчуванням macOS дає GPU близько 75% пам’яті.
Наскільки швидко Llama 3.2 1B Instruct працює на Mac?: Швидкість генерації залежить від пропускної здатності пам’яті. Найшвидший Mac для неї тут — M5 Ultra із 96 ГБ: близько 415–738 токенів за секунду (8 біт). Мінімальний Mac, що її запускає, — M3 із 8 ГБ — видає близько 35–62.
Чи погіршує квантування Llama 3.2 1B Instruct?: За 4 біт більшість моделей лишаються близькими до початкової якості; нижче 4 біт якість падає швидше. Обирайте найвищу точність, яка вміщується у ваш Mac із запасом.

Схожі моделі

Усі моделі · Усі Mac · Порівняти свій Mac

Для картки моделі або README

Показує мінімальний Mac, на якому Llama 3.2 1B Instruct добре працює, і веде сюди.

[![Runs on a Mac](https://mlx.app/badge/run/llama-3.2-1b.svg)](https://mlx.app/run/llama-3.2-1b)

Як це розраховано

Пам’ять: параметри моделі за 8, 6, 4, 3 або 2 біт на вагу плюс групові масштаби MLX (пів біта на вагу) або її нативний формат, а зверху — місце для контексту. За замовчуванням macOS дає GPU близько 75% об’єднаної пам’яті. Швидкість: пропускна здатність пам’яті, поділена на кількість байтів, що читаються на кожен токен, — це стеля для однієї розмови; у публічних тестах llama.cpp на Apple Silicon реальні запуски досягають приблизно 45–80% від неї, і показано саме цей діапазон. Це оцінки, а не вимірювання: виміряйте свій Mac у MLX Bench. Дані моделей — з офіційних карток моделей, дані чипів — з технічних характеристик Apple. Перевірено 2026-10-19. Ті самі дані, що й на mlx.app/compare.