Как узнать, пойдет ли LLM на моем Mac?

Сравните размер модели при нужной точности с объединенной памятью вашего Mac. По умолчанию macOS отдает GPU около 75% этой памяти, а модели еще нужно место для контекста. Модели в 4 битах нужно чуть больше половины гигабайта на миллиард параметров.

Сколько токенов в секунду я получу?

Скорость генерации ограничена пропускной способностью памяти: каждый токен один раз читает активные веса модели. Пропускная способность, деленная на байты на токен, — потолок для одного диалога; на практике обычно получается около 45–80% от него.

Почему модели со смесью экспертов (MoE) работают быстрее?

Они держат в памяти много экспертов, но для каждого токена используют лишь несколько, поэтому каждый токен читает гораздо меньше байт. Память нужна под всю модель, а скорость — как у гораздо меньшей.

Хватит ли 4 бит?

Для большинства моделей 4 бита сохраняют качество, близкое к оригиналу. Ниже 4 бит качество падает быстрее, поэтому такие версии помечены.

Что потянет ваш Mac?

Выберите свой Mac или любую другую машину и посмотрите, какие открытые ИИ-модели поместятся в ее память и как быстро она будет их запускать. Расчет по карточке каждой модели и опубликованным характеристикам памяти и пропускной способности каждого чипа.

Ваша машина

Apple M5, 16 ГБ: по умолчанию около 12 ГБ под модели, пропускная способность памяти 153 ГБ/с. Идут 20 из 43 популярных моделей. Его страница Измерено: 32 токенов/с на Llama 2 7B в 4 битах в llama.cpp (M5 (10-core GPU)).

Работают хорошо Помещается с запасом для контекста, 10 и более токенов в секунду.

Gemma 4 E4BGoogle DeepMind · 2026-03 · контекст 128K · изображенияИнтеллект 8,9Карточка модели Сборка MLX8B8 бит8,5 ГБ Влезает14–26 tok/s

Qwen3.5 4BQwen (Alibaba) · 2026-02 · контекст 256K · изображенияКарточка модели Сборка MLX4B8 бит4,3 ГБ Влезает16–28 tok/s

Llama 3.2 3B InstructMeta · 2024-09 · контекст 128KКарточка модели Сборка MLX3,21B8 бит3,4 ГБ Влезает20–36 tok/s

SmolLM3 3BHugging Face · 2025-07 · контекст 64KКарточка модели Сборка MLX3B8 бит3,2 ГБ Влезает22–38 tok/s

Qwen3.5 0.8BQwen (Alibaba) · 2026-02 · контекст 256K · изображенияКарточка модели Сборка MLX0,8B8 бит0,9 ГБ Влезает77–136 tok/s

Nemotron 3.5 Lightning 30B A3BNVIDIA · 2026-08 · контекст 256KИнтеллект 12,9Карточка модели Сборка MLX30B · активных: 3B2 бит ниже качество9,4 ГБ Влезает77–136 tok/s

gpt-oss-20bOpenAI · 2025-08 · контекст 128KИнтеллект 9Карточка модели Сборка MLX21B · активных: 3,6B3 бит ниже качество9,2 ГБ Влезает43–77 tok/s

Распространяется в нативном малобитном формате: около 14 ГБ весов.

Qwen3 Coder 30B A3B InstructQwen (Alibaba) · 2025-07 · контекст 256KКарточка модели Сборка MLX30,5B · активных: 3,3B2 бит ниже качество9,5 ГБ Влезает69–122 tok/s

GLM-4.7 FlashZ.ai (Zhipu) · 2026-01 · контекст 198KКарточка модели Сборка MLX30B · активных: 3B2 бит ниже качество9,4 ГБ Влезает77–136 tok/s

Gemma 4 26B A4BGoogle DeepMind · 2026-03 · контекст 256K · изображенияКарточка модели Сборка MLX25,2B · активных: 3,8B2 бит ниже качество7,9 ГБ Влезает57–102 tok/s

LFM2.5 24B A2BLiquid AI · 2026-10 · контекст 128KКарточка модели Сборка MLX24B · активных: 2B3 бит ниже качество10,5 ГБ Влезает77–136 tok/s

Работают, но медленно Помещается, но меньше 10 токенов в секунду: подойдет для пакетных задач, для чата медленно.

Qwen3.5 9BQwen (Alibaba) · 2026-02 · контекст 256K · изображенияИнтеллект 11,2Карточка модели Сборка MLX9B8 бит9,6 ГБ Влезает7–13 tok/s

Granite 4.2 8BIBM · 2026-08 · контекст 128KИнтеллект 11,1Карточка модели8B8 бит8,5 ГБ Влезает8–14 tok/s

Phi-4 (14B)Microsoft · 2024-12 · контекст 16KКарточка модели Сборка MLX14B4 бит7,9 ГБ Влезает9–15 tok/s

Gemma 4 12B UnifiedGoogle DeepMind · 2026-05 · контекст 256K · изображенияКарточка модели Сборка MLX12B6 бит9,7 ГБ Влезает7–13 tok/s

Llama 3.1 8B InstructMeta · 2024-07 · контекст 128KКарточка модели Сборка MLX8B8 бит8,5 ГБ Влезает8–14 tok/s

Qwen3.8 27BQwen (Alibaba) · 2026-08 · контекст 256K · изображенияИнтеллект 33,7Карточка модели Сборка MLX27B2 бит ниже качество8,4 ГБ Влезает8–15 tok/s

Muse Glimmer 30BMeta (Meta Superintelligence Lab) · 2026-08 · контекст 128K · изображенияИнтеллект 17,5Карточка модели Сборка MLX29,6B2 бит ниже качество9,3 ГБ Влезает7–13 tok/s

Gemma 4 31BGoogle DeepMind · 2026-03 · контекст 256K · изображенияИнтеллект 14,7Карточка модели Сборка MLX30,7B2 бит ниже качество9,6 ГБ Влезает7–13 tok/s

Devstral Small 2 (24B)Mistral AI · 2025-11 · контекст 256K · изображенияКарточка модели Сборка MLX24B3 бит ниже качество10,5 ГБ Влезает7–12 tok/s

Еле помещаются Занимает почти всю память: поднимите лимит памяти GPU и держите контекст коротким.

Qwen3.6 35B A3BQwen (Alibaba) · 2026-04 · контекст 256K · изображенияИнтеллект 18,2Карточка модели Сборка MLX35B · активных: 3B2 бит ниже качество10,9 ГБ Еле помещается77–136 tok/s

Интеллект: Artificial Analysis Intelligence Index v4.3.2, где измерен. Названия моделей ведут на их официальные карточки.

Как это рассчитано

Память. Каждая модель показана с максимальной точностью, которая помещается: 8, 6, 4, 3 или 2 бита на вес плюс групповые масштабы MLX (полбита на вес) или в нативном формате, если модель так распространяется. На Mac GPU по умолчанию может использовать около 75% объединенной памяти; сверху мы оставляем место для контекста.

Скорость. При генерации каждый токен один раз читает все активные веса, поэтому пропускная способность памяти, деленная на эти байты, — потолок для одного диалога. В открытых бенчмарках llama.cpp на Apple Silicon реальные запуски достигают примерно 45–80% от него — этот диапазон и показан. Чтение длинного промпта упирается в вычислительную мощность, и здесь оно не показано.

Источники. Параметры, контекст и лицензии — из официальной карточки каждой модели на Hugging Face (ссылка в названии); память и пропускная способность — из спецификаций Apple и производителей. Проверено 2026-10-19. Измерьте свой Mac в MLX Bench. Все Mac, все модели и полную таблицу совместимости можно бесплатно скачать в JSON и CSV: открытые данные.

Каталог. Все Mac, от M1 с 8 ГБ до M5 Ultra с 512 ГБ, со всеми моделями, которые на них идут, и все модели с самым младшим Mac, который им нужен.

Запустить. Пошагово: как скачать и запустить LLM на Mac, MLX, Ollama или llama.cpp и лучший Mac для локальных LLM. Пока Mac простаивает, он может зарабатывать токены MLX.

Как узнать, пойдет ли LLM на моем Mac?: Сравните размер модели при нужной точности с объединенной памятью вашего Mac. По умолчанию macOS отдает GPU около 75% этой памяти, а модели еще нужно место для контекста. Модели в 4 битах нужно чуть больше половины гигабайта на миллиард параметров.
Сколько токенов в секунду я получу?: Скорость генерации ограничена пропускной способностью памяти: каждый токен один раз читает активные веса модели. Пропускная способность, деленная на байты на токен, — потолок для одного диалога; на практике обычно получается около 45–80% от него.
Почему модели со смесью экспертов (MoE) работают быстрее?: Они держат в памяти много экспертов, но для каждого токена используют лишь несколько, поэтому каждый токен читает гораздо меньше байт. Память нужна под всю модель, а скорость — как у гораздо меньшей.
Хватит ли 4 бит?: Для большинства моделей 4 бита сохраняют качество, близкое к оригиналу. Ниже 4 бит качество падает быстрее, поэтому такие версии помечены.