Як дізнатися, чи піде LLM на моєму Mac?

Порівняйте розмір моделі за потрібної точності з об’єднаною пам’яттю вашого Mac. За замовчуванням macOS дає GPU близько 75% цієї пам’яті, а моделі ще потрібне місце для контексту. Моделі у 4 бітах потрібно трохи більше пів гігабайта на мільярд параметрів.

Скільки токенів за секунду я отримаю?

Швидкість генерації обмежена пропускною здатністю пам’яті: кожен токен один раз читає активні ваги моделі. Пропускна здатність, поділена на байти на токен, — стеля для однієї розмови; на практиці зазвичай виходить близько 45–80% від неї.

Чому моделі із сумішшю експертів (MoE) працюють швидше?

Вони тримають у пам’яті багато експертів, але для кожного токена використовують лише кілька, тож кожен токен читає набагато менше байтів. Пам’ять потрібна під усю модель, а швидкість — як у значно меншої.

Чи вистачить 4 біт?

Для більшості моделей 4 біти зберігають якість, близьку до оригіналу. Нижче 4 біт якість падає швидше, тому такі версії позначено.

Що потягне ваш Mac?

Виберіть свій Mac або будь-яку іншу машину й подивіться, які відкриті моделі ШІ вмістяться в її пам’ять і як швидко вона їх запускатиме. Розрахунок за карткою кожної моделі та опублікованими даними про пам’ять і пропускну здатність кожного чипа.

Ваша машина

Apple M5, 16 ГБ: за замовчуванням близько 12 ГБ під моделі, пропускна здатність пам’яті 153 ГБ/с. Ідуть 20 з 43 популярних моделей. Його сторінка Виміряно: 32 токенів/с на Llama 2 7B у 4 бітах у llama.cpp (M5 (10-core GPU)).

Працюють добре Вміщується із запасом для контексту, 10 і більше токенів за секунду.

Gemma 4 E4BGoogle DeepMind · 2026-03 · контекст 128K · зображенняІнтелект 8,9Картка моделі Збірка MLX8B8 біт8,5 ГБ Вміщується14–26 tok/s

Qwen3.5 4BQwen (Alibaba) · 2026-02 · контекст 256K · зображенняКартка моделі Збірка MLX4B8 біт4,3 ГБ Вміщується16–28 tok/s

Llama 3.2 3B InstructMeta · 2024-09 · контекст 128KКартка моделі Збірка MLX3,21B8 біт3,4 ГБ Вміщується20–36 tok/s

SmolLM3 3BHugging Face · 2025-07 · контекст 64KКартка моделі Збірка MLX3B8 біт3,2 ГБ Вміщується22–38 tok/s

Qwen3.5 0.8BQwen (Alibaba) · 2026-02 · контекст 256K · зображенняКартка моделі Збірка MLX0,8B8 біт0,9 ГБ Вміщується77–136 tok/s

Nemotron 3.5 Lightning 30B A3BNVIDIA · 2026-08 · контекст 256KІнтелект 12,9Картка моделі Збірка MLX30B · активних: 3B2 біт нижча якість9,4 ГБ Вміщується77–136 tok/s

gpt-oss-20bOpenAI · 2025-08 · контекст 128KІнтелект 9Картка моделі Збірка MLX21B · активних: 3,6B3 біт нижча якість9,2 ГБ Вміщується43–77 tok/s

Поширюється в нативному малобітному форматі: близько 14 ГБ ваг.

Qwen3 Coder 30B A3B InstructQwen (Alibaba) · 2025-07 · контекст 256KКартка моделі Збірка MLX30,5B · активних: 3,3B2 біт нижча якість9,5 ГБ Вміщується69–122 tok/s

GLM-4.7 FlashZ.ai (Zhipu) · 2026-01 · контекст 198KКартка моделі Збірка MLX30B · активних: 3B2 біт нижча якість9,4 ГБ Вміщується77–136 tok/s

Gemma 4 26B A4BGoogle DeepMind · 2026-03 · контекст 256K · зображенняКартка моделі Збірка MLX25,2B · активних: 3,8B2 біт нижча якість7,9 ГБ Вміщується57–102 tok/s

LFM2.5 24B A2BLiquid AI · 2026-10 · контекст 128KКартка моделі Збірка MLX24B · активних: 2B3 біт нижча якість10,5 ГБ Вміщується77–136 tok/s

Працюють, але повільно Вміщується, але менше 10 токенів за секунду: годиться для пакетних задач, для чату повільно.

Qwen3.5 9BQwen (Alibaba) · 2026-02 · контекст 256K · зображенняІнтелект 11,2Картка моделі Збірка MLX9B8 біт9,6 ГБ Вміщується7–13 tok/s

Granite 4.2 8BIBM · 2026-08 · контекст 128KІнтелект 11,1Картка моделі8B8 біт8,5 ГБ Вміщується8–14 tok/s

Phi-4 (14B)Microsoft · 2024-12 · контекст 16KКартка моделі Збірка MLX14B4 біт7,9 ГБ Вміщується9–15 tok/s

Gemma 4 12B UnifiedGoogle DeepMind · 2026-05 · контекст 256K · зображенняКартка моделі Збірка MLX12B6 біт9,7 ГБ Вміщується7–13 tok/s

Llama 3.1 8B InstructMeta · 2024-07 · контекст 128KКартка моделі Збірка MLX8B8 біт8,5 ГБ Вміщується8–14 tok/s

Qwen3.8 27BQwen (Alibaba) · 2026-08 · контекст 256K · зображенняІнтелект 33,7Картка моделі Збірка MLX27B2 біт нижча якість8,4 ГБ Вміщується8–15 tok/s

Muse Glimmer 30BMeta (Meta Superintelligence Lab) · 2026-08 · контекст 128K · зображенняІнтелект 17,5Картка моделі Збірка MLX29,6B2 біт нижча якість9,3 ГБ Вміщується7–13 tok/s

Gemma 4 31BGoogle DeepMind · 2026-03 · контекст 256K · зображенняІнтелект 14,7Картка моделі Збірка MLX30,7B2 біт нижча якість9,6 ГБ Вміщується7–13 tok/s

Devstral Small 2 (24B)Mistral AI · 2025-11 · контекст 256K · зображенняКартка моделі Збірка MLX24B3 біт нижча якість10,5 ГБ Вміщується7–12 tok/s

Ледь вміщуються Займає майже всю пам’ять: підніміть ліміт пам’яті GPU і тримайте контекст коротким.

Qwen3.6 35B A3BQwen (Alibaba) · 2026-04 · контекст 256K · зображенняІнтелект 18,2Картка моделі Збірка MLX35B · активних: 3B2 біт нижча якість10,9 ГБ Ледь вміщується77–136 tok/s

Інтелект: Artificial Analysis Intelligence Index v4.3.2, де виміряно. Назви моделей ведуть на їхні офіційні картки.

Як це розраховано

Пам’ять. Кожну модель показано з найвищою точністю, яка вміщується: 8, 6, 4, 3 або 2 біти на вагу плюс групові масштаби MLX (пів біта на вагу) або в нативному форматі, якщо модель так поширюється. На Mac GPU за замовчуванням може використовувати близько 75% об’єднаної пам’яті; зверху ми лишаємо місце для контексту.

Швидкість. Під час генерації кожен токен один раз читає всі активні ваги, тож пропускна здатність пам’яті, поділена на ці байти, — це стеля для однієї розмови. У відкритих бенчмарках llama.cpp на Apple Silicon реальні запуски досягають приблизно 45–80% від неї — саме цей діапазон і показано. Читання довгого промпту залежить від обчислювальної потужності й тут не показане.

Джерела. Параметри, контекст і ліцензії — з офіційної картки кожної моделі на Hugging Face (посилання в назві); пам’ять і пропускна здатність — зі специфікацій Apple та виробників. Перевірено 2026-10-19. Виміряйте свій Mac у MLX Bench. Усі Mac, усі моделі й повну таблицю сумісності можна безкоштовно завантажити в JSON і CSV: відкриті дані.

Каталог. Усі Mac, від M1 з 8 ГБ до M5 Ultra з 512 ГБ, з усіма моделями, які на них ідуть, і усі моделі з наймолодшим Mac, якого вони потребують.

Запустити. Покроково: як завантажити й запустити LLM на Mac, MLX, Ollama чи llama.cpp і найкращий Mac для локальних LLM. Поки Mac простоює, він може заробляти токени MLX.

Як дізнатися, чи піде LLM на моєму Mac?: Порівняйте розмір моделі за потрібної точності з об’єднаною пам’яттю вашого Mac. За замовчуванням macOS дає GPU близько 75% цієї пам’яті, а моделі ще потрібне місце для контексту. Моделі у 4 бітах потрібно трохи більше пів гігабайта на мільярд параметрів.
Скільки токенів за секунду я отримаю?: Швидкість генерації обмежена пропускною здатністю пам’яті: кожен токен один раз читає активні ваги моделі. Пропускна здатність, поділена на байти на токен, — стеля для однієї розмови; на практиці зазвичай виходить близько 45–80% від неї.
Чому моделі із сумішшю експертів (MoE) працюють швидше?: Вони тримають у пам’яті багато експертів, але для кожного токена використовують лише кілька, тож кожен токен читає набагато менше байтів. Пам’ять потрібна під усю модель, а швидкість — як у значно меншої.
Чи вистачить 4 біт?: Для більшості моделей 4 біти зберігають якість, близьку до оригіналу. Нижче 4 біт якість падає швидше, тому такі версії позначено.