Скільки пам’яті потрібно моделі Hy-Memory-30B-A3B?

Близько 16,9 ГБ на ваги (4 біт) плюс місце для контексту: загалом 18,4 ГБ. На Mac це означає 32 ГБ об’єднаної пам’яті або більше, адже за замовчуванням macOS дає GPU близько 75% пам’яті.

Наскільки швидко Hy-Memory-30B-A3B працює на Mac?

Швидкість генерації залежить від пропускної здатності пам’яті. Найшвидший Mac для неї тут — M5 Ultra із 96 ГБ: близько 159–282 токенів за секунду (8 біт). Мінімальний Mac, що її запускає, — M2 Max із 32 ГБ — видає близько 100–178.

Чому Hy-Memory-30B-A3B працює швидше, ніж можна очікувати з її розміру?

Це модель mixture-of-experts: вона тримає в пам’яті 30,1B параметрів, але на кожен токен читає лише 3,2B, тож пише зі швидкістю значно меншої моделі.

Чи потягне Mac Hy-Memory-30B-A3B? Пам’ять і швидкість

Пам’ять за кожної точності

Версія	Ваги	З контекстом	Мінімальний Mac
8 біт	31,9 ГБ	34,5 ГБ	48 ГБ
6 біт	24,4 ГБ	26,4 ГБ	36 ГБ
4 біт	16,9 ГБ	18,4 ГБ	32 ГБ
3 біт нижча якість	13,2 ГБ	14,7 ГБ	24 ГБ
2 біт нижча якість	9,4 ГБ	10,9 ГБ	16 ГБ

На кожному чипі Apple

Мінімальний обсяг пам’яті кожного чипа, на якому запускається Hy-Memory-30B-A3B, найкраща версія, що вміщується, і очікувана швидкість генерації.

Чип	Потрібно	Версія	Токенів/с
M6	32 ГБ	4 біт Працює добре	43–76
M5 Ultra	96 ГБ	8 біт Працює добре	159–282
M5 Max	36 ГБ	6 біт Працює добре	80–142
M5 Pro	48 ГБ	8 біт Працює добре	41–72
M5	32 ГБ	4 біт Працює добре	38–68
M4 Max	36 ГБ	6 біт Працює добре	71–126
M4 Pro	48 ГБ	8 біт Працює добре	36–64
M4	32 ГБ	4 біт Працює добре	30–53
M3 Ultra	96 ГБ	8 біт Працює добре	108–193
M3 Max	36 ГБ	6 біт Працює добре	52–92
M3 Pro	36 ГБ	6 біт Працює добре	26–46
M3	16 ГБ	2 біт Працює добре	45–80
M2 Ultra	64 ГБ	8 біт Працює добре	106–188
M2 Max	32 ГБ	4 біт Працює добре	100–178
M2 Pro	32 ГБ	4 біт Працює добре	50–89
M2	16 ГБ	2 біт Працює добре	45–80
M1 Ultra	64 ГБ	8 біт Працює добре	106–188
M1 Max	32 ГБ	4 біт Працює добре	100–178
M1 Pro	32 ГБ	4 біт Працює добре	50–89
M1	16 ГБ	2 біт Працює добре	31–54

Як запустити

Найпростіший спосіб: завантажте MLX Harness — безкоштовно і з відкритим кодом. Знайдіть Hy-Memory-30B-A3B, завантажте версію, яка підходить вашому Mac, і спілкуйтеся. Застосунок також віддає модель іншим вашим програмам через API, сумісний з OpenAI.Завантажити MLX HarnessБезкоштовно · Apple Silicon · macOS 14.5 або новіша
У Терміналі з MLX від Apple:pip install mlx-lmmlx_lm.chat --model mlx-community/Hy-Memory-30B-A3B-4bit --trust-remote-code--trust-remote-code дозволяє mlx-lm запустити код на Python, що постачається з цією збіркою: без нього модель не завантажиться.Збірка: mlx-community/Hy-Memory-30B-A3B-4bit на Hugging Face. Поруч лежать версії з іншою точністю.

Покроково: завантажити й запустити LLM на Mac · як користуватися MLX Harness · MLX, Ollama і llama.cpp

Про модель Hy-Memory-30B-A3B

Розробник	Tencent
Параметри	30,1B усього · 3,2B активних (mixture of experts)
Контекст	токенів: 256K
Ліцензія	Apache-2.0
Випуск	2026-10
Вхідні дані	Текст
Ваги	tencent/Hy-Memory-30B-A3B

Запитання

Скільки пам’яті потрібно моделі Hy-Memory-30B-A3B?: Близько 16,9 ГБ на ваги (4 біт) плюс місце для контексту: загалом 18,4 ГБ. На Mac це означає 32 ГБ об’єднаної пам’яті або більше, адже за замовчуванням macOS дає GPU близько 75% пам’яті.
Наскільки швидко Hy-Memory-30B-A3B працює на Mac?: Швидкість генерації залежить від пропускної здатності пам’яті. Найшвидший Mac для неї тут — M5 Ultra із 96 ГБ: близько 159–282 токенів за секунду (8 біт). Мінімальний Mac, що її запускає, — M2 Max із 32 ГБ — видає близько 100–178.
Чому Hy-Memory-30B-A3B працює швидше, ніж можна очікувати з її розміру?: Це модель mixture-of-experts: вона тримає в пам’яті 30,1B параметрів, але на кожен токен читає лише 3,2B, тож пише зі швидкістю значно меншої моделі.

Схожі моделі

Усі моделі · Усі Mac · Порівняти свій Mac

Для картки моделі або README

Показує мінімальний Mac, на якому Hy-Memory-30B-A3B добре працює, і веде сюди.

[![Runs on a Mac](https://mlx.app/badge/run/hy-memory-30b-a3b.svg)](https://mlx.app/run/hy-memory-30b-a3b)

Як це розраховано

Пам’ять: параметри моделі за 8, 6, 4, 3 або 2 біт на вагу плюс групові масштаби MLX (пів біта на вагу) або її нативний формат, а зверху — місце для контексту. За замовчуванням macOS дає GPU близько 75% об’єднаної пам’яті. Швидкість: пропускна здатність пам’яті, поділена на кількість байтів, що читаються на кожен токен, — це стеля для однієї розмови; у публічних тестах llama.cpp на Apple Silicon реальні запуски досягають приблизно 45–80% від неї, і показано саме цей діапазон. Це оцінки, а не вимірювання: виміряйте свій Mac у MLX Bench. Дані моделей — з офіційних карток моделей, дані чипів — з технічних характеристик Apple. Перевірено 2026-10-19. Ті самі дані, що й на mlx.app/compare.

Відкриті дані: mlx.app/data (JSON, CSV)