Сколько памяти нужно модели Hy-Memory-30B-A3B?

Около 16,9 ГБ на веса (4 бит) плюс место для контекста: всего 18,4 ГБ. На Mac это значит 32 ГБ объединенной памяти или больше, ведь по умолчанию macOS отдает GPU около 75% памяти.

Насколько быстро Hy-Memory-30B-A3B работает на Mac?

Скорость генерации зависит от пропускной способности памяти. Самый быстрый Mac для нее здесь — M5 Ultra с 96 ГБ: около 159–282 токенов в секунду (8 бит). Минимальный Mac, который ее запускает, — M2 Max с 32 ГБ — выдает около 100–178.

Почему Hy-Memory-30B-A3B работает быстрее, чем можно ожидать по размеру?

Это модель mixture-of-experts: она держит в памяти 30,1B параметров, но на каждый токен читает только 3,2B, поэтому пишет со скоростью гораздо меньшей модели.

Запустится ли Hy-Memory-30B-A3B на Mac? Память, скорость

Память при каждой точности

Версия	Веса	С контекстом	Минимальный Mac
8 бит	31,9 ГБ	34,5 ГБ	48 ГБ
6 бит	24,4 ГБ	26,4 ГБ	36 ГБ
4 бит	16,9 ГБ	18,4 ГБ	32 ГБ
3 бит ниже качество	13,2 ГБ	14,7 ГБ	24 ГБ
2 бит ниже качество	9,4 ГБ	10,9 ГБ	16 ГБ

На каждом чипе Apple

Минимальный объем памяти каждого чипа, на котором запускается Hy-Memory-30B-A3B, лучшая версия, которая помещается, и ожидаемая скорость генерации.

Чип	Нужно	Версия	Токенов/с
M6	32 ГБ	4 бит Работает хорошо	43–76
M5 Ultra	96 ГБ	8 бит Работает хорошо	159–282
M5 Max	36 ГБ	6 бит Работает хорошо	80–142
M5 Pro	48 ГБ	8 бит Работает хорошо	41–72
M5	32 ГБ	4 бит Работает хорошо	38–68
M4 Max	36 ГБ	6 бит Работает хорошо	71–126
M4 Pro	48 ГБ	8 бит Работает хорошо	36–64
M4	32 ГБ	4 бит Работает хорошо	30–53
M3 Ultra	96 ГБ	8 бит Работает хорошо	108–193
M3 Max	36 ГБ	6 бит Работает хорошо	52–92
M3 Pro	36 ГБ	6 бит Работает хорошо	26–46
M3	16 ГБ	2 бит Работает хорошо	45–80
M2 Ultra	64 ГБ	8 бит Работает хорошо	106–188
M2 Max	32 ГБ	4 бит Работает хорошо	100–178
M2 Pro	32 ГБ	4 бит Работает хорошо	50–89
M2	16 ГБ	2 бит Работает хорошо	45–80
M1 Ultra	64 ГБ	8 бит Работает хорошо	106–188
M1 Max	32 ГБ	4 бит Работает хорошо	100–178
M1 Pro	32 ГБ	4 бит Работает хорошо	50–89
M1	16 ГБ	2 бит Работает хорошо	31–54

Как запустить

Самый простой способ: скачайте MLX Harness — бесплатно и с открытым кодом. Найдите Hy-Memory-30B-A3B, скачайте версию, которая подходит вашему Mac, и общайтесь. Приложение также отдает модель другим вашим программам через API, совместимый с OpenAI.Скачать MLX HarnessБесплатно · Apple Silicon · macOS 14.5 или новее
В Терминале с MLX от Apple:pip install mlx-lmmlx_lm.chat --model mlx-community/Hy-Memory-30B-A3B-4bit --trust-remote-code--trust-remote-code разрешает mlx-lm запустить код на Python, который идёт вместе с этой сборкой: без него модель не загрузится.Сборка: mlx-community/Hy-Memory-30B-A3B-4bit на Hugging Face. Рядом лежат версии с другой точностью.

Пошагово: скачать и запустить LLM на Mac · как пользоваться MLX Harness · MLX, Ollama и llama.cpp

О модели Hy-Memory-30B-A3B

Разработчик	Tencent
Параметры	30,1B всего · 3,2B активных (mixture of experts)
Контекст	токенов: 256K
Лицензия	Apache-2.0
Выпуск	2026-10
Ввод	Текст
Веса	tencent/Hy-Memory-30B-A3B

Вопросы

Сколько памяти нужно модели Hy-Memory-30B-A3B?: Около 16,9 ГБ на веса (4 бит) плюс место для контекста: всего 18,4 ГБ. На Mac это значит 32 ГБ объединенной памяти или больше, ведь по умолчанию macOS отдает GPU около 75% памяти.
Насколько быстро Hy-Memory-30B-A3B работает на Mac?: Скорость генерации зависит от пропускной способности памяти. Самый быстрый Mac для нее здесь — M5 Ultra с 96 ГБ: около 159–282 токенов в секунду (8 бит). Минимальный Mac, который ее запускает, — M2 Max с 32 ГБ — выдает около 100–178.
Почему Hy-Memory-30B-A3B работает быстрее, чем можно ожидать по размеру?: Это модель mixture-of-experts: она держит в памяти 30,1B параметров, но на каждый токен читает только 3,2B, поэтому пишет со скоростью гораздо меньшей модели.

Для карточки модели или README

Показывает минимальный Mac, на котором Hy-Memory-30B-A3B хорошо работает, и ведет сюда.

[![Runs on a Mac](https://mlx.app/badge/run/hy-memory-30b-a3b.svg)](https://mlx.app/run/hy-memory-30b-a3b)

Как это рассчитано

Память: параметры модели при 8, 6, 4, 3 или 2 битах на вес плюс групповые масштабы MLX (полбита на вес) или ее нативный формат, а сверху — место для контекста. По умолчанию macOS отдает GPU около 75% объединенной памяти. Скорость: пропускная способность памяти, деленная на число байтов, читаемых на каждый токен, — это потолок для одного диалога; в публичных тестах llama.cpp на Apple Silicon реальные запуски достигают примерно 45–80% от него, и показан именно этот диапазон. Это оценки, а не измерения: измерьте свой Mac в MLX Bench. Данные моделей — из официальных карточек моделей, данные чипов — из технических характеристик Apple. Проверено 2026-10-19. Те же данные, что и на mlx.app/compare.

Открытые данные: mlx.app/data (JSON, CSV)