УвійтиСтворити гаманець

Чип M3 Max для локального ШІ.

Чип M3 Max має до 128 GB об’єднаної пам’яті зі швидкістю читання до 400 GB/s. Ось що це означає для запуску мовних моделей на Mac із цим чипом — за розрахунками на основі даних самої Apple.

1Характеристики, важливі для ШІ

Об’єднана пам’ять128 GB
Пропускна здатність пам’яті400 GB/s, або 300 GB/s у молодшій конфігурації
Встановлюється в14- and 16-inch MacBook Pro (2023)
Виділене місце для ньогоМісце Pro: добуває до 80 MLX на день

2Які моделі вмістяться

При 4 бітах на вагу моделі потрібно трохи більше пів гігабайта на мільярд параметрів, плюс місце для контексту й macOS. Маючи 128 GB, чип M3 Max без проблем вміщує моделі приблизно до 170 млрд параметрів.

Модель (4 біти)Потрібно пам’ятіВміститься на M3 Max
Модель 8B4,5 GBТак
Модель 14B7,9 GBТак
Модель 32B18 GBТак
Модель 70B39,4 GBТак
gpt-oss-120b, суміш експертів (MoE)65 GBТак
Qwen3.5-397B-A17B, суміш експертів (MoE)223,3 GBНі
DeepSeek-V4.1-Flash, суміш експертів (MoE)316 GBНі

3Наскільки швидко

Генерація тексту впирається в пропускну здатність пам’яті: для кожного нового токена активні ваги моделі читаються один раз. Поділивши 400 GB/s чипа M3 Max на обсяг, що читається за токен, отримуємо стелю нижче. Реальні запуски зазвичай досягають приблизно 45–80% від неї (тести llama.cpp).

Модель (4 біти)Читання на токенСтеля для одного чату
Модель 8B4,5 GB89 токенів/с
Модель 14B7,9 GB51 токенів/с
Модель 32B18 GB22 токенів/с
Модель 70B39,4 GB10 токенів/с
gpt-oss-120b, суміш експертів (MoE)2,7 GB148 токенів/с

5Порівняння з іншими чипами

6Запитання

Чи потягне M3 Max модель 70B?
Так. Моделі 70B при 4 бітах потрібно близько 40 GB, а чип M3 Max має до 128 GB. Стеля для одного чату — близько 10 токенів/с.
Скільки токенів за секунду видає M3 Max?
Для моделі 8B при 4 бітах стеля — близько 89 токенів/с, а реальні запуски досягають приблизно від половини до чотирьох п’ятих від неї. Більші моделі пропорційно повільніші.
Чи підходить M3 Max для ШІ?
Для локального запуску моделей найважливіші пам’ять і пропускна здатність. Чип M3 Max має до 128 GB при 400 GB/s — цього вистачає для моделей приблизно до 170 млрд параметрів. Крім того, Mac із цим чипом може заробляти, виконуючи завдання ШІ для MLX Network у MLX Node.

Джерела

  1. Apple: M3, M3 Pro and M3 Maxapple.com
  2. Apple: MacBook Pro (M3 Pro or M3 Max) specssupport.apple.com
M3 Max для локальних LLM: пам’ять, швидкість і моделі | MLX