Память при каждой точности
| Версия | Веса | С контекстом | Минимальный Mac |
|---|---|---|---|
| 8 бит | 25,5 ГБ | 27,5 ГБ | 48 ГБ |
| 6 бит | 19,5 ГБ | 21,1 ГБ | 32 ГБ |
| 4 бит | 13,5 ГБ | 15 ГБ | 24 ГБ |
| 3 бит ниже качество | 10,5 ГБ | 12 ГБ | 16 ГБ |
| 2 бит ниже качество | 7,5 ГБ | 9 ГБ | 16 ГБ |
На каждом чипе Apple
Минимальный объем памяти каждого чипа, на котором запускается Devstral Small 2 (24B), лучшая версия, которая помещается, и ожидаемая скорость генерации.
| Чип | Нужно | Версия | Токенов/с |
|---|---|---|---|
| M6 | 24 ГБ | 4 бит Медленно | 6–10 |
| M5 Ultra | 96 ГБ | 8 бит Работает хорошо | 21–38 |
| M5 Max | 36 ГБ | 6 бит Работает хорошо | 11–19 |
| M5 Pro | 24 ГБ | 4 бит Работает хорошо | 10–18 |
| M5 | 24 ГБ | 4 бит Медленно | 5–9 |
| M4 Max | 36 ГБ | 4 бит Работает хорошо | 14–24 |
| M4 Pro | 24 ГБ | 4 бит Медленно | 9–16 |
| M4 | 24 ГБ | 4 бит Медленно | 4–7 |
| M3 Ultra | 96 ГБ | 8 бит Работает хорошо | 14–26 |
| M3 Max | 36 ГБ | 4 бит Работает хорошо | 10–18 |
| M3 Pro | 36 ГБ | 6 бит Медленно | 3–6 |
| M3 | 24 ГБ | 4 бит Медленно | 3–6 |
| M2 Ultra | 64 ГБ | 8 бит Работает хорошо | 14–25 |
| M2 Max | 32 ГБ | 4 бит Работает хорошо | 13–24 |
| M2 Pro | 32 ГБ | 6 бит Медленно | 5–8 |
| M2 | 24 ГБ | 4 бит Медленно | 3–6 |
| M1 Ultra | 64 ГБ | 8 бит Работает хорошо | 14–25 |
| M1 Max | 32 ГБ | 4 бит Работает хорошо | 13–24 |
| M1 Pro | 32 ГБ | 6 бит Медленно | 5–8 |
| M1 | 16 ГБ | 3 бит Медленно | 3–5 |
Как запустить
- Самый простой способ: скачайте MLX Harness — бесплатно и с открытым кодом. Найдите Devstral Small 2 (24B), скачайте версию, которая подходит вашему Mac, и общайтесь. Приложение также отдает модель другим вашим программам через API, совместимый с OpenAI.Скачать MLX HarnessБесплатно · Apple Silicon · macOS 14.5 или новее
- В Терминале с MLX от Apple:
pip install mlx-lmmlx_lm.chat --model mlx-community/Devstral-Small-2-24B-Instruct-2512-4bitСборка: mlx-community/Devstral-Small-2-24B-Instruct-2512-4bit на Hugging Face. Рядом лежат версии с другой точностью.
Пошагово: скачать и запустить LLM на Mac · как пользоваться MLX Harness · MLX, Ollama и llama.cpp
О модели Devstral Small 2 (24B)
| Разработчик | Mistral AI |
|---|---|
| Параметры | 24B (плотная) |
| Контекст | токенов: 256K |
| Лицензия | Apache-2.0 |
| Выпуск | 2025-11 |
| Ввод | Текст и изображения |
| Веса | mistralai/Devstral-Small-2-24B-Instruct-2512 |
Вопросы
- Сколько памяти нужно модели Devstral Small 2 (24B)?
- Около 13,5 ГБ на веса (4 бит) плюс место для контекста: всего 15 ГБ. На Mac это значит 24 ГБ объединенной памяти или больше, ведь по умолчанию macOS отдает GPU около 75% памяти.
- Насколько быстро Devstral Small 2 (24B) работает на Mac?
- Скорость генерации зависит от пропускной способности памяти. Самый быстрый Mac для нее здесь — M5 Ultra с 96 ГБ: около 21–38 токенов в секунду (8 бит). Минимальный Mac, который ее запускает, — M5 Pro с 24 ГБ — выдает около 10–18.
- Ухудшает ли квантование Devstral Small 2 (24B)?
- При 4 битах большинство моделей остаются близки к исходному качеству; ниже 4 бит качество падает быстрее. Выбирайте максимальную точность, которая помещается в ваш Mac с запасом.
Похожие модели
Для карточки модели или README
Показывает минимальный Mac, на котором Devstral Small 2 (24B) хорошо работает, и ведет сюда.
[](https://mlx.app/run/devstral-small-2)Как это рассчитано
Память: параметры модели при 8, 6, 4, 3 или 2 битах на вес плюс групповые масштабы MLX (полбита на вес) или ее нативный формат, а сверху — место для контекста. По умолчанию macOS отдает GPU около 75% объединенной памяти. Скорость: пропускная способность памяти, деленная на число байтов, читаемых на каждый токен, — это потолок для одного диалога; в публичных тестах llama.cpp на Apple Silicon реальные запуски достигают примерно 45–80% от него, и показан именно этот диапазон. Это оценки, а не измерения: измерьте свой Mac в MLX Bench. Данные моделей — из официальных карточек моделей, данные чипов — из технических характеристик Apple. Проверено 2026-10-19. Те же данные, что и на mlx.app/compare.