Память при каждой точности
| Версия | Веса | С контекстом | Минимальный Mac |
|---|---|---|---|
| 8 бит | 4,2 ГБ | 5,7 ГБ | 8 ГБ |
| 6 бит | 3,2 ГБ | 4,7 ГБ | 8 ГБ |
| 4 бит | 2,2 ГБ | 3,7 ГБ | 8 ГБ |
| 3 бит ниже качество | 1,7 ГБ | 3,2 ГБ | 8 ГБ |
| 2 бит ниже качество | 1,2 ГБ | 2,7 ГБ | 8 ГБ |
На каждом чипе Apple
Минимальный объем памяти каждого чипа, на котором запускается Nemotron-Labs Dory 1.0 4B, лучшая версия, которая помещается, и ожидаемая скорость генерации.
| Чип | Нужно | Версия | Токенов/с |
|---|---|---|---|
| M6 | 16 ГБ | 8 бит Работает хорошо | 11–20 |
| M5 Ultra | 96 ГБ | 8 бит Работает хорошо | 87–155 |
| M5 Max | 36 ГБ | 8 бит Работает хорошо | 33–59 |
| M5 Pro | 24 ГБ | 8 бит Работает хорошо | 22–40 |
| M5 | 16 ГБ | 8 бит Работает хорошо | 11–20 |
| M4 Max | 36 ГБ | 8 бит Работает хорошо | 30–53 |
| M4 Pro | 24 ГБ | 8 бит Работает хорошо | 20–35 |
| M4 | 16 ГБ | 6 бит Работает хорошо | 11–20 |
| M3 Ultra | 96 ГБ | 8 бит Работает хорошо | 59–106 |
| M3 Max | 36 ГБ | 8 бит Работает хорошо | 22–39 |
| M3 Pro | 18 ГБ | 8 бит Работает хорошо | 11–19 |
| M3 | 8 ГБ | 6 бит Работает хорошо | 10–17 |
| M2 Ultra | 64 ГБ | 8 бит Работает хорошо | 58–103 |
| M2 Max | 32 ГБ | 8 бит Работает хорошо | 29–52 |
| M2 Pro | 16 ГБ | 8 бит Работает хорошо | 15–26 |
| M2 | 8 ГБ | 6 бит Работает хорошо | 10–17 |
| M1 Ultra | 64 ГБ | 8 бит Работает хорошо | 58–103 |
| M1 Max | 32 ГБ | 8 бит Работает хорошо | 29–52 |
| M1 Pro | 16 ГБ | 8 бит Работает хорошо | 15–26 |
| M1 | 8 ГБ | 8 бит Медленно | 5–9 |
Измерено другими
Скорость генерации Nemotron-Labs Dory 1.0 4B, которую другие люди измерили на своих Mac и опубликовали. Это сторонние измерения, не наши, и не оценки выше.
| Mac | Среда запуска | Точность | Декодирование tok/s | Источник |
|---|---|---|---|---|
| MacBook Pro M5 Max 128 ГБ | dory-mlx | 8-bit (MLX) | 69 | NetProjects @netprojects |
| MacBook Pro M5 Max 128 ГБ | dory-mlx | 8-bit (MLX) | 54при контексте 32K | NetProjects @netprojects |
Результаты зависят от среды запуска и настроек: версия, точность, длина контекста, промпт и включённое или выключенное рассуждение меняют скорость.
Как запустить
Пошагово: скачать и запустить LLM на Mac · MLX, Ollama и llama.cpp
Удобнее приложение, чем Терминал? Сравните приложения для Mac, которые запускают локальные модели в AI App Store: цена, лицензия и куда уходят ваши данные.
О модели Nemotron-Labs Dory 1.0 4B
| Разработчик | NVIDIA |
|---|---|
| Параметры | 3,98B (плотная) |
| Контекст | токенов: 256K |
| Лицензия | OpenMDW-1.1 |
| Выпуск | 2026-10 |
| Ввод | Текст |
| Веса | nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 |
Вопросы
- Сколько памяти нужно модели Nemotron-Labs Dory 1.0 4B?
- Около 2,2 ГБ на веса (4 бит) плюс место для контекста: всего 3,7 ГБ. На Mac это значит 8 ГБ объединенной памяти или больше, ведь по умолчанию macOS отдает GPU около 75% памяти.
- Насколько быстро Nemotron-Labs Dory 1.0 4B работает на Mac?
- Скорость генерации зависит от пропускной способности памяти. Самый быстрый Mac для нее здесь — M5 Ultra с 96 ГБ: около 87–155 токенов в секунду (8 бит). Минимальный Mac, который ее запускает, — M3 с 8 ГБ — выдает около 10–17.
- Ухудшает ли квантование Nemotron-Labs Dory 1.0 4B?
- При 4 битах большинство моделей остаются близки к исходному качеству; ниже 4 бит качество падает быстрее. Выбирайте максимальную точность, которая помещается в ваш Mac с запасом.
Похожие модели
Для карточки модели или README
Показывает минимальный Mac, на котором Nemotron-Labs Dory 1.0 4B хорошо работает, и ведет сюда.
[](https://mlx.app/run/nemotron-labs-dory-1.0-4b)Как это рассчитано
Память: параметры модели при 8, 6, 4, 3 или 2 битах на вес плюс групповые масштабы MLX (полбита на вес) или ее нативный формат, а сверху — место для контекста. По умолчанию macOS отдает GPU около 75% объединенной памяти. Скорость: пропускная способность памяти, деленная на число байтов, читаемых на каждый токен, — это потолок для одного диалога; в публичных тестах llama.cpp на Apple Silicon реальные запуски достигают примерно 45–80% от него, и показан именно этот диапазон. Это оценки, а не измерения: измерьте свой Mac в MLX Bench. Данные моделей — из официальных карточек моделей, данные чипов — из технических характеристик Apple. Проверено 2026-10-19. Те же данные, что и на mlx.app/compare.
Открытые данные: mlx.app/data (JSON, CSV)