Сколько памяти нужно модели Llama 3.2 1B Instruct?

Около 0,7 ГБ на веса (4 бит) плюс место для контекста: всего 2,2 ГБ. На Mac это значит 8 ГБ объединенной памяти или больше, ведь по умолчанию macOS отдает GPU около 75% памяти.

Насколько быстро Llama 3.2 1B Instruct работает на Mac?

Скорость генерации зависит от пропускной способности памяти. Самый быстрый Mac для нее здесь — M5 Ultra с 96 ГБ: около 415–738 токенов в секунду (8 бит). Минимальный Mac, который ее запускает, — M3 с 8 ГБ — выдает около 35–62.

Ухудшает ли квантование Llama 3.2 1B Instruct?

При 4 битах большинство моделей остаются близки к исходному качеству; ниже 4 бит качество падает быстрее. Выбирайте максимальную точность, которая помещается в ваш Mac с запасом.

Запустится ли Llama 3.2 1B Instruct на Mac? Память, скорость

Память при каждой точности

Версия	Веса	С контекстом	Минимальный Mac
8 бит	1,3 ГБ	2,8 ГБ	8 ГБ
6 бит	1 ГБ	2,5 ГБ	8 ГБ
4 бит	0,7 ГБ	2,2 ГБ	8 ГБ
3 бит ниже качество	0,5 ГБ	2 ГБ	8 ГБ
2 бит ниже качество	0,4 ГБ	1,9 ГБ	8 ГБ

На каждом чипе Apple

Минимальный объем памяти каждого чипа, на котором запускается Llama 3.2 1B Instruct, лучшая версия, которая помещается, и ожидаемая скорость генерации.

Чип	Нужно	Версия	Токенов/с
M6	16 ГБ	8 бит Работает хорошо	53–94
M5 Ultra	96 ГБ	8 бит Работает хорошо	415–738
M5 Max	36 ГБ	8 бит Работает хорошо	159–283
M5 Pro	24 ГБ	8 бит Работает хорошо	106–189
M5	16 ГБ	8 бит Работает хорошо	53–94
M4 Max	36 ГБ	8 бит Работает хорошо	142–252
M4 Pro	24 ГБ	8 бит Работает хорошо	95–168
M4	16 ГБ	8 бит Работает хорошо	42–74
M3 Ultra	96 ГБ	8 бит Работает хорошо	284–504
M3 Max	36 ГБ	8 бит Работает хорошо	104–185
M3 Pro	18 ГБ	8 бит Работает хорошо	52–92
M3	8 ГБ	8 бит Работает хорошо	35–62
M2 Ultra	64 ГБ	8 бит Работает хорошо	277–492
M2 Max	32 ГБ	8 бит Работает хорошо	138–246
M2 Pro	16 ГБ	8 бит Работает хорошо	69–123
M2	8 ГБ	8 бит Работает хорошо	35–62
M1 Ultra	64 ГБ	8 бит Работает хорошо	277–492
M1 Max	32 ГБ	8 бит Работает хорошо	138–246
M1 Pro	16 ГБ	8 бит Работает хорошо	69–123
M1	8 ГБ	8 бит Работает хорошо	24–42

Как запустить

Самый простой способ: скачайте MLX Harness — бесплатно и с открытым кодом. Найдите Llama 3.2 1B Instruct, скачайте версию, которая подходит вашему Mac, и общайтесь. Приложение также отдает модель другим вашим программам через API, совместимый с OpenAI.Скачать MLX HarnessБесплатно · Apple Silicon · macOS 14.5 или новее
В Терминале с MLX от Apple:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-3.2-1B-Instruct-4bitСборка: mlx-community/Llama-3.2-1B-Instruct-4bit на Hugging Face. Рядом лежат версии с другой точностью.

Пошагово: скачать и запустить LLM на Mac · как пользоваться MLX Harness · MLX, Ollama и llama.cpp

О модели Llama 3.2 1B Instruct

Разработчик	Meta
Параметры	1,23B (плотная)
Контекст	токенов: 128K
Лицензия	Llama 3.2 Community License
Выпуск	2024-09
Ввод	Текст
Веса	meta-llama/Llama-3.2-1B-Instruct

Вопросы

Сколько памяти нужно модели Llama 3.2 1B Instruct?: Около 0,7 ГБ на веса (4 бит) плюс место для контекста: всего 2,2 ГБ. На Mac это значит 8 ГБ объединенной памяти или больше, ведь по умолчанию macOS отдает GPU около 75% памяти.
Насколько быстро Llama 3.2 1B Instruct работает на Mac?: Скорость генерации зависит от пропускной способности памяти. Самый быстрый Mac для нее здесь — M5 Ultra с 96 ГБ: около 415–738 токенов в секунду (8 бит). Минимальный Mac, который ее запускает, — M3 с 8 ГБ — выдает около 35–62.
Ухудшает ли квантование Llama 3.2 1B Instruct?: При 4 битах большинство моделей остаются близки к исходному качеству; ниже 4 бит качество падает быстрее. Выбирайте максимальную точность, которая помещается в ваш Mac с запасом.

Для карточки модели или README

Показывает минимальный Mac, на котором Llama 3.2 1B Instruct хорошо работает, и ведет сюда.

[![Runs on a Mac](https://mlx.app/badge/run/llama-3.2-1b.svg)](https://mlx.app/run/llama-3.2-1b)

Как это рассчитано

Память: параметры модели при 8, 6, 4, 3 или 2 битах на вес плюс групповые масштабы MLX (полбита на вес) или ее нативный формат, а сверху — место для контекста. По умолчанию macOS отдает GPU около 75% объединенной памяти. Скорость: пропускная способность памяти, деленная на число байтов, читаемых на каждый токен, — это потолок для одного диалога; в публичных тестах llama.cpp на Apple Silicon реальные запуски достигают примерно 45–80% от него, и показан именно этот диапазон. Это оценки, а не измерения: измерьте свой Mac в MLX Bench. Данные моделей — из официальных карточек моделей, данные чипов — из технических характеристик Apple. Проверено 2026-10-19. Те же данные, что и на mlx.app/compare.