Память при каждой точности
| Версия | Веса | С контекстом | Минимальный Mac |
|---|---|---|---|
| 8 бит | 595 ГБ | 643 ГБ | больше, чем у любого Mac |
| 6 бит | 455 ГБ | 491 ГБ | больше, чем у любого Mac |
| 4 бит | 315 ГБ | 340 ГБ | 512 ГБ |
| 3 бит ниже качество | 245 ГБ | 265 ГБ | 512 ГБ |
| 2 бит ниже качество | 175 ГБ | 189 ГБ | 256 ГБ |
На каждом чипе Apple
Минимальный объем памяти каждого чипа, на котором запускается Ling 3.1 Flash, лучшая версия, которая помещается, и ожидаемая скорость генерации.
| Чип | Нужно | Версия | Токенов/с |
|---|---|---|---|
| M6 | ни один объем не подходит | Слишком большая | – |
| M5 Ultra | 512 ГБ | 4 бит Работает хорошо | 38–68 |
| M5 Max | ни один объем не подходит | Слишком большая | – |
| M5 Pro | ни один объем не подходит | Слишком большая | – |
| M5 | ни один объем не подходит | Слишком большая | – |
| M4 Max | ни один объем не подходит | Слишком большая | – |
| M4 Pro | ни один объем не подходит | Слишком большая | – |
| M4 | ни один объем не подходит | Слишком большая | – |
| M3 Ultra | 512 ГБ | 4 бит Работает хорошо | 26–46 |
| M3 Max | ни один объем не подходит | Слишком большая | – |
| M3 Pro | ни один объем не подходит | Слишком большая | – |
| M3 | ни один объем не подходит | Слишком большая | – |
| M2 Ultra | ни один объем не подходит | Слишком большая | – |
| M2 Max | ни один объем не подходит | Слишком большая | – |
| M2 Pro | ни один объем не подходит | Слишком большая | – |
| M2 | ни один объем не подходит | Слишком большая | – |
| M1 Ultra | ни один объем не подходит | Слишком большая | – |
| M1 Max | ни один объем не подходит | Слишком большая | – |
| M1 Pro | ни один объем не подходит | Слишком большая | – |
| M1 | ни один объем не подходит | Слишком большая | – |
Как запустить
- В Терминале с MLX от Apple: Сборки MLX пока нет, а обычный mlx-lm пока не умеет конвертировать официальные веса (bailing_moe_v3.py).
Пошагово: скачать и запустить LLM на Mac · как пользоваться MLX Harness · MLX, Ollama и llama.cpp
О модели Ling 3.1 Flash
| Разработчик | inclusionAI |
|---|---|
| Параметры | 560B всего · 25B активных (mixture of experts) |
| Контекст | токенов: 256K |
| Лицензия | MIT |
| Выпуск | 2026-10 |
| Ввод | Текст |
| Интеллект | 41,1 в Artificial Analysis Intelligence Index |
| Веса | inclusionAI/Ling-3.1-flash |
Вопросы
- Сколько памяти нужно модели Ling 3.1 Flash?
- Около 315 ГБ на веса (4 бит) плюс место для контекста: всего 340 ГБ. На Mac это значит 512 ГБ объединенной памяти или больше, ведь по умолчанию macOS отдает GPU около 75% памяти.
- Насколько быстро Ling 3.1 Flash работает на Mac?
- Скорость генерации зависит от пропускной способности памяти. Самый быстрый Mac для нее здесь — M5 Ultra с 512 ГБ: около 38–68 токенов в секунду (4 бит). Минимальный Mac, который ее запускает, — M5 Ultra с 512 ГБ — выдает около 38–68.
- Почему Ling 3.1 Flash работает быстрее, чем можно ожидать по размеру?
- Это модель mixture-of-experts: она держит в памяти 560B параметров, но на каждый токен читает только 25B, поэтому пишет со скоростью гораздо меньшей модели.
Похожие модели
Для карточки модели или README
Показывает минимальный Mac, на котором Ling 3.1 Flash хорошо работает, и ведет сюда.
[](https://mlx.app/run/ling-3.1-flash)Как это рассчитано
Память: параметры модели при 8, 6, 4, 3 или 2 битах на вес плюс групповые масштабы MLX (полбита на вес) или ее нативный формат, а сверху — место для контекста. По умолчанию macOS отдает GPU около 75% объединенной памяти. Скорость: пропускная способность памяти, деленная на число байтов, читаемых на каждый токен, — это потолок для одного диалога; в публичных тестах llama.cpp на Apple Silicon реальные запуски достигают примерно 45–80% от него, и показан именно этот диапазон. Это оценки, а не измерения: измерьте свой Mac в MLX Bench. Данные моделей — из официальных карточек моделей, данные чипов — из технических характеристик Apple. Проверено 2026-10-19. Те же данные, что и на mlx.app/compare.
Открытые данные: mlx.app/data (JSON, CSV)