Память при каждой точности
| Версия | Веса | С контекстом | Минимальный Mac |
|---|---|---|---|
| 8 бит | 30,6 ГБ | 33 ГБ | 48 ГБ |
| 6 бит | 23,4 ГБ | 25,3 ГБ | 36 ГБ |
| 4 бит | 16,2 ГБ | 17,7 ГБ | 24 ГБ |
| 3 бит ниже качество | 12,6 ГБ | 14,1 ГБ | 24 ГБ |
| 2 бит ниже качество | 9 ГБ | 10,5 ГБ | 16 ГБ |
На каждом чипе Apple
Минимальный объем памяти каждого чипа, на котором запускается Raon-1 mini Preview, лучшая версия, которая помещается, и ожидаемая скорость генерации.
| Чип | Нужно | Версия | Токенов/с |
|---|---|---|---|
| M6 | 24 ГБ | 4 бит Работает хорошо | 32–57 |
| M5 Ultra | 96 ГБ | 8 бит Работает хорошо | 117–209 |
| M5 Max | 36 ГБ | 6 бит Работает хорошо | 59–105 |
| M5 Pro | 24 ГБ | 4 бит Работает хорошо | 58–102 |
| M5 | 24 ГБ | 4 бит Работает хорошо | 29–51 |
| M4 Max | 36 ГБ | 6 бит Работает хорошо | 53–94 |
| M4 Pro | 24 ГБ | 4 бит Работает хорошо | 51–91 |
| M4 | 24 ГБ | 4 бит Работает хорошо | 23–40 |
| M3 Ultra | 96 ГБ | 8 бит Работает хорошо | 80–142 |
| M3 Max | 36 ГБ | 6 бит Работает хорошо | 39–69 |
| M3 Pro | 36 ГБ | 6 бит Работает хорошо | 19–34 |
| M3 | 24 ГБ | 4 бит Работает хорошо | 19–33 |
| M2 Ultra | 64 ГБ | 8 бит Работает хорошо | 78–139 |
| M2 Max | 32 ГБ | 4 бит Работает хорошо | 75–133 |
| M2 Pro | 32 ГБ | 4 бит Работает хорошо | 38–67 |
| M2 | 24 ГБ | 4 бит Работает хорошо | 19–33 |
| M1 Ultra | 64 ГБ | 8 бит Работает хорошо | 78–139 |
| M1 Max | 32 ГБ | 4 бит Работает хорошо | 75–133 |
| M1 Pro | 32 ГБ | 4 бит Работает хорошо | 38–67 |
| M1 | 16 ГБ | 2 бит Работает хорошо | 24–42 |
Как запустить
pip install mlx-lmmlx_lm.chat --model KRAFTON/Raon-1-mini-preview-mlx --trust-remote-code--trust-remote-code разрешает mlx-lm запустить код на Python, который идёт вместе с этой сборкой: без него модель не загрузится.Сборка: KRAFTON/Raon-1-mini-preview-mlx на Hugging Face. Рядом лежат версии с другой точностью.Пошагово: скачать и запустить LLM на Mac · MLX, Ollama и llama.cpp
Удобнее приложение, чем Терминал? Сравните приложения для Mac, которые запускают локальные модели в AI App Store: цена, лицензия и куда уходят ваши данные.
О модели Raon-1 mini Preview
| Разработчик | KRAFTON |
|---|---|
| Параметры | 28,8B всего · 4,3B активных (mixture of experts) |
| Контекст | токенов: 256K |
| Лицензия | Apache-2.0 |
| Выпуск | 2026-10 |
| Ввод | Текст |
| Веса | KRAFTON/Raon-1-mini-preview |
Вопросы
- Сколько памяти нужно модели Raon-1 mini Preview?
- Около 16,2 ГБ на веса (4 бит) плюс место для контекста: всего 17,7 ГБ. На Mac это значит 24 ГБ объединенной памяти или больше, ведь по умолчанию macOS отдает GPU около 75% памяти.
- Насколько быстро Raon-1 mini Preview работает на Mac?
- Скорость генерации зависит от пропускной способности памяти. Самый быстрый Mac для нее здесь — M5 Ultra с 96 ГБ: около 117–209 токенов в секунду (8 бит). Минимальный Mac, который ее запускает, — M5 Pro с 24 ГБ — выдает около 58–102.
- Почему Raon-1 mini Preview работает быстрее, чем можно ожидать по размеру?
- Это модель mixture-of-experts: она держит в памяти 28,8B параметров, но на каждый токен читает только 4,3B, поэтому пишет со скоростью гораздо меньшей модели.
Похожие модели
Для карточки модели или README
Показывает минимальный Mac, на котором Raon-1 mini Preview хорошо работает, и ведет сюда.
[](https://mlx.app/run/raon-1-mini-preview)Как это рассчитано
Память: параметры модели при 8, 6, 4, 3 или 2 битах на вес плюс групповые масштабы MLX (полбита на вес) или ее нативный формат, а сверху — место для контекста. По умолчанию macOS отдает GPU около 75% объединенной памяти. Скорость: пропускная способность памяти, деленная на число байтов, читаемых на каждый токен, — это потолок для одного диалога; в публичных тестах llama.cpp на Apple Silicon реальные запуски достигают примерно 45–80% от него, и показан именно этот диапазон. Это оценки, а не измерения: измерьте свой Mac в MLX Bench. Данные моделей — из официальных карточек моделей, данные чипов — из технических характеристик Apple. Проверено 2026-10-19. Те же данные, что и на mlx.app/compare.
Открытые данные: mlx.app/data (JSON, CSV)