Сколько памяти нужно модели Llama 4 Scout 17B-16E Instruct?

Около 61,3 ГБ на веса (4 бит) плюс место для контекста: всего 66,2 ГБ. На Mac это значит 96 ГБ объединенной памяти или больше, ведь по умолчанию macOS отдает GPU около 75% памяти.

Насколько быстро Llama 4 Scout 17B-16E Instruct работает на Mac?

Скорость генерации зависит от пропускной способности памяти. Самый быстрый Mac для нее здесь — M5 Ultra с 96 ГБ: около 56–100 токенов в секунду (4 бит). Минимальный Mac, который ее запускает, — M5 Ultra с 96 ГБ — выдает около 56–100.

Почему Llama 4 Scout 17B-16E Instruct работает быстрее, чем можно ожидать по размеру?

Это модель mixture-of-experts: она держит в памяти 109B параметров, но на каждый токен читает только 17B, поэтому пишет со скоростью гораздо меньшей модели.

Запустится ли Llama 4 Scout 17B-16E Instruct на Mac? Память, скорость

Память при каждой точности

Версия	Веса	С контекстом	Минимальный Mac
8 бит	116 ГБ	125 ГБ	192 ГБ
6 бит	88,6 ГБ	95,7 ГБ	128 ГБ
4 бит	61,3 ГБ	66,2 ГБ	96 ГБ
3 бит ниже качество	47,7 ГБ	51,5 ГБ	96 ГБ
2 бит ниже качество	34,1 ГБ	36,8 ГБ	64 ГБ

На каждом чипе Apple

Минимальный объем памяти каждого чипа, на котором запускается Llama 4 Scout 17B-16E Instruct, лучшая версия, которая помещается, и ожидаемая скорость генерации.

Чип	Нужно	Версия	Токенов/с
M6	ни один объем не подходит	Слишком большая	–
M5 Ultra	96 ГБ	4 бит Работает хорошо	56–100
M5 Max	128 ГБ	6 бит Работает хорошо	20–36
M5 Pro	64 ГБ	2 бит Работает хорошо	26–46
M5	ни один объем не подходит	Слишком большая	–
M4 Max	128 ГБ	6 бит Работает хорошо	18–32
M4 Pro	64 ГБ	2 бит Работает хорошо	23–41
M4	ни один объем не подходит	Слишком большая	–
M3 Ultra	96 ГБ	4 бит Работает хорошо	38–68
M3 Max	96 ГБ	4 бит Работает хорошо	14–25
M3 Pro	ни один объем не подходит	Слишком большая	–
M3	ни один объем не подходит	Слишком большая	–
M2 Ultra	128 ГБ	6 бит Работает хорошо	26–46
M2 Max	96 ГБ	4 бит Работает хорошо	19–33
M2 Pro	ни один объем не подходит	Слишком большая	–
M2	ни один объем не подходит	Слишком большая	–
M1 Ultra	128 ГБ	6 бит Работает хорошо	26–46
M1 Max	64 ГБ	2 бит Работает хорошо	34–60
M1 Pro	ни один объем не подходит	Слишком большая	–
M1	ни один объем не подходит	Слишком большая	–

Как запустить

Самый простой способ: скачайте MLX Harness — бесплатно и с открытым кодом. Найдите Llama 4 Scout 17B-16E Instruct, скачайте версию, которая подходит вашему Mac, и общайтесь. Приложение также отдает модель другим вашим программам через API, совместимый с OpenAI.Скачать MLX HarnessБесплатно · Apple Silicon · macOS 14.5 или новее
В Терминале с MLX от Apple:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-4-Scout-17B-16E-Instruct-4bitСборка: mlx-community/Llama-4-Scout-17B-16E-Instruct-4bit на Hugging Face. Рядом лежат версии с другой точностью.

Пошагово: скачать и запустить LLM на Mac · как пользоваться MLX Harness · MLX, Ollama и llama.cpp

О модели Llama 4 Scout 17B-16E Instruct

Разработчик	Meta
Параметры	109B всего · 17B активных (mixture of experts)
Контекст	токенов: 10M
Лицензия	Llama 4 Community License
Выпуск	2025-04
Ввод	Текст и изображения
Интеллект	6,5 в Artificial Analysis Intelligence Index
Веса	meta-llama/Llama-4-Scout-17B-16E-Instruct

Вопросы

Сколько памяти нужно модели Llama 4 Scout 17B-16E Instruct?: Около 61,3 ГБ на веса (4 бит) плюс место для контекста: всего 66,2 ГБ. На Mac это значит 96 ГБ объединенной памяти или больше, ведь по умолчанию macOS отдает GPU около 75% памяти.
Насколько быстро Llama 4 Scout 17B-16E Instruct работает на Mac?: Скорость генерации зависит от пропускной способности памяти. Самый быстрый Mac для нее здесь — M5 Ultra с 96 ГБ: около 56–100 токенов в секунду (4 бит). Минимальный Mac, который ее запускает, — M5 Ultra с 96 ГБ — выдает около 56–100.
Почему Llama 4 Scout 17B-16E Instruct работает быстрее, чем можно ожидать по размеру?: Это модель mixture-of-experts: она держит в памяти 109B параметров, но на каждый токен читает только 17B, поэтому пишет со скоростью гораздо меньшей модели.

Для карточки модели или README

Показывает минимальный Mac, на котором Llama 4 Scout 17B-16E Instruct хорошо работает, и ведет сюда.

[![Runs on a Mac](https://mlx.app/badge/run/llama-4-scout.svg)](https://mlx.app/run/llama-4-scout)

Как это рассчитано

Память: параметры модели при 8, 6, 4, 3 или 2 битах на вес плюс групповые масштабы MLX (полбита на вес) или ее нативный формат, а сверху — место для контекста. По умолчанию macOS отдает GPU около 75% объединенной памяти. Скорость: пропускная способность памяти, деленная на число байтов, читаемых на каждый токен, — это потолок для одного диалога; в публичных тестах llama.cpp на Apple Silicon реальные запуски достигают примерно 45–80% от него, и показан именно этот диапазон. Это оценки, а не измерения: измерьте свой Mac в MLX Bench. Данные моделей — из официальных карточек моделей, данные чипов — из технических характеристик Apple. Проверено 2026-10-19. Те же данные, что и на mlx.app/compare.