Чи потягне M2 модель 70B?

Із запасом — ні. Моделі 70B при 4 бітах потрібно близько 40 GB, а чип M2 має щонайбільше 24 GB. Добре вміщуються моделі приблизно до 32B параметрів.

Скільки токенів за секунду видає M2?

Для моделі 8B при 4 бітах стеля — близько 22 токенів/с, а реальні запуски досягають приблизно від половини до чотирьох п’ятих від неї. Більші моделі пропорційно повільніші.

Чи підходить M2 для ШІ?

Для локального запуску моделей найважливіші пам’ять і пропускна здатність. Чип M2 має до 24 GB при 100 GB/s — цього вистачає для моделей приблизно до 32 млрд параметрів. Крім того, Mac із цим чипом може заробляти, виконуючи завдання ШІ для MLX Network у MLX Node.

M2 для локальних LLM: пам’ять, швидкість і моделі

1Характеристики, важливі для ШІ

Об’єднана пам’ять	24 GB
Пропускна здатність пам’яті	100 GB/s
Встановлюється в	MacBook Air (2022, 2023), 13-inch MacBook Pro (2022), Mac mini (2023)
Виділене місце для нього	Місце Core: добуває до 20 MLX на день

2Які моделі вмістяться

При 4 бітах на вагу моделі потрібно трохи більше пів гігабайта на мільярд параметрів, плюс місце для контексту й macOS. Маючи 24 GB, чип M2 без проблем вміщує моделі приблизно до 32 млрд параметрів.

Модель (4 біти)	Потрібно пам’яті	Вміститься на M2
Модель 8B	4,5 GB	Так
Модель 14B	7,9 GB	Так
Модель 32B	18 GB	Так
Модель 70B	39,4 GB	Ні
gpt-oss-120b, суміш експертів (MoE)	65 GB	Ні
Qwen3.5-397B-A17B, суміш експертів (MoE)	223,3 GB	Ні
DeepSeek-V4.1-Flash, суміш експертів (MoE)	316 GB	Ні

3Наскільки швидко

Генерація тексту впирається в пропускну здатність пам’яті: для кожного нового токена активні ваги моделі читаються один раз. Поділивши 100 GB/s чипа M2 на обсяг, що читається за токен, отримуємо стелю нижче. Реальні запуски зазвичай досягають приблизно 45–80% від неї (тести llama.cpp).

Модель (4 біти)	Читання на токен	Стеля для одного чату
Модель 8B	4,5 GB	22 токенів/с
Модель 14B	7,9 GB	13 токенів/с
Модель 32B	18 GB	6 токенів/с

5Порівняння з іншими чипами

6Запитання

Чи потягне M2 модель 70B?: Із запасом — ні. Моделі 70B при 4 бітах потрібно близько 40 GB, а чип M2 має щонайбільше 24 GB. Добре вміщуються моделі приблизно до 32B параметрів.
Скільки токенів за секунду видає M2?: Для моделі 8B при 4 бітах стеля — близько 22 токенів/с, а реальні запуски досягають приблизно від половини до чотирьох п’ятих від неї. Більші моделі пропорційно повільніші.
Чи підходить M2 для ШІ?: Для локального запуску моделей найважливіші пам’ять і пропускна здатність. Чип M2 має до 24 GB при 100 GB/s — цього вистачає для моделей приблизно до 32 млрд параметрів. Крім того, Mac із цим чипом може заробляти, виконуючи завдання ШІ для MLX Network у MLX Node.

Джерела

Apple: M2apple.com
llama.cpp: Apple Silicon benchmarksgithub.com