Память при каждой точности
| Версия | Веса | С контекстом | Минимальный Mac |
|---|---|---|---|
| 8 бит | 42,3 ГБ | 45,7 ГБ | 64 ГБ |
| 6 бит | 32,3 ГБ | 34,9 ГБ | 48 ГБ |
| 4 бит | 22,4 ГБ | 24,2 ГБ | 36 ГБ |
| 3 бит ниже качество | 17,4 ГБ | 18,9 ГБ | 32 ГБ |
| 2 бит ниже качество | 12,4 ГБ | 13,9 ГБ | 24 ГБ |
На каждом чипе Apple
Минимальный объем памяти каждого чипа, на котором запускается Recursive Flint, лучшая версия, которая помещается, и ожидаемая скорость генерации.
| Чип | Нужно | Версия | Токенов/с |
|---|---|---|---|
| M6 | 24 ГБ | 2 бит Работает хорошо | 96–170 |
| M5 Ultra | 96 ГБ | 8 бит Работает хорошо | 200–356 |
| M5 Max | 36 ГБ | 4 бит Работает хорошо | 148–263 |
| M5 Pro | 48 ГБ | 6 бит Работает хорошо | 69–123 |
| M5 | 24 ГБ | 2 бит Работает хорошо | 86–153 |
| M4 Max | 36 ГБ | 4 бит Работает хорошо | 132–234 |
| M4 Pro | 48 ГБ | 6 бит Работает хорошо | 61–109 |
| M4 | 24 ГБ | 2 бит Работает хорошо | 68–120 |
| M3 Ultra | 96 ГБ | 8 бит Работает хорошо | 137–243 |
| M3 Max | 36 ГБ | 4 бит Работает хорошо | 96–171 |
| M3 Pro | 36 ГБ | 4 бит Работает хорошо | 48–86 |
| M3 | 24 ГБ | 2 бит Работает хорошо | 56–100 |
| M2 Ultra | 64 ГБ | 8 бит Работает хорошо | 133–237 |
| M2 Max | 64 ГБ | 8 бит Работает хорошо | 67–119 |
| M2 Pro | 32 ГБ | 3 бит Работает хорошо | 82–145 |
| M2 | 24 ГБ | 2 бит Работает хорошо | 56–100 |
| M1 Ultra | 64 ГБ | 8 бит Работает хорошо | 133–237 |
| M1 Max | 64 ГБ | 8 бит Работает хорошо | 67–119 |
| M1 Pro | 32 ГБ | 3 бит Работает хорошо | 82–145 |
| M1 | 16 ГБ | 2 бит Еле помещается | 38–68 |
Измерено другими
Скорость генерации Recursive Flint, которую другие люди измерили на своих Mac и опубликовали. Это сторонние измерения, не наши, и не оценки выше.
| Mac | Среда запуска | Точность | Декодирование tok/s | Источник |
|---|---|---|---|---|
| Mac Studio M3 Ultra | Ollama (MLX engine) | INT4 (QAT) | 107 | Alec Kloss @aleckloss |
| Mac Studio M3 Ultra | mlx-lm (PR #1998) | INT4 (QAT) | 104,5 | Alec Kloss @aleckloss |
| Mac Studio M3 Ultra | mlx-vlm | BF16 | 51,3при контексте 1K | Prince Canuma @Prince_Canuma |
| Mac Studio M3 Ultra | mlx-vlm | BF16 | 33при контексте 128K | Prince Canuma @Prince_Canuma |
| Mac mini M5 Pro 64 ГБ | Ollama | 4-bit | 115 | Pratik Gandhi @pratikg |
| Mac mini M5 Pro 64 ГБ | Ollama | 4-bit | 87при контексте 20K | Pratik Gandhi @pratikg |
Результаты зависят от среды запуска и настроек: версия, точность, длина контекста, промпт и включённое или выключенное рассуждение меняют скорость.
Как запустить
- В Терминале с Rec, собственным движком разработчика:
curl -fsSL https://raw.githubusercontent.com/recursive-oss/rec/main/install.sh | bashrec launch piТребования: M4 Pro, M5 Pro or M5 Max · at least 48 GB unified memory · about 30 GB free disk · Node.js 22 and npm (for pi)Сборка: RecursiveSI/flint-int4 на Hugging Face. Рядом лежат версии с другой точностью.
Пошагово: скачать и запустить LLM на Mac · как пользоваться MLX Harness · MLX, Ollama и llama.cpp
О модели Recursive Flint
| Разработчик | Recursive |
|---|---|
| Параметры | 39,8B всего · 2,5B активных (mixture of experts) |
| Контекст | токенов: 256K |
| Лицензия | Apache-2.0 |
| Выпуск | 2026-10 |
| Ввод | Текст |
| Веса | RecursiveSI/flint |
Вопросы
- Сколько памяти нужно модели Recursive Flint?
- Около 22,4 ГБ на веса (4 бит) плюс место для контекста: всего 24,2 ГБ. На Mac это значит 36 ГБ объединенной памяти или больше, ведь по умолчанию macOS отдает GPU около 75% памяти. Собственному движку Recursive, Rec, нужен M4 Pro, M5 Pro или M5 Max минимум с 48 ГБ объединенной памяти (требование разработчика).
- Насколько быстро Recursive Flint работает на Mac?
- Скорость генерации зависит от пропускной способности памяти. Самый быстрый Mac для нее здесь — M5 Ultra с 96 ГБ: около 200–356 токенов в секунду (8 бит). Минимальный Mac, который ее запускает, — M5 Max с 36 ГБ — выдает около 148–263.
- Почему Recursive Flint работает быстрее, чем можно ожидать по размеру?
- Это модель mixture-of-experts: она держит в памяти 39,8B параметров, но на каждый токен читает только 2,5B, поэтому пишет со скоростью гораздо меньшей модели.
Похожие модели
Для карточки модели или README
Показывает минимальный Mac, на котором Recursive Flint хорошо работает, и ведет сюда.
[](https://mlx.app/run/flint)Как это рассчитано
Память: параметры модели при 8, 6, 4, 3 или 2 битах на вес плюс групповые масштабы MLX (полбита на вес) или ее нативный формат, а сверху — место для контекста. По умолчанию macOS отдает GPU около 75% объединенной памяти. Скорость: пропускная способность памяти, деленная на число байтов, читаемых на каждый токен, — это потолок для одного диалога; в публичных тестах llama.cpp на Apple Silicon реальные запуски достигают примерно 45–80% от него, и показан именно этот диапазон. Это оценки, а не измерения: измерьте свой Mac в MLX Bench. Данные моделей — из официальных карточек моделей, данные чипов — из технических характеристик Apple. Проверено 2026-10-19. Те же данные, что и на mlx.app/compare.
Открытые данные: mlx.app/data (JSON, CSV)