ВойтиСоздать кошелек

Чип M3 Ultra для локального ИИ.

У чипа M3 Ultra до 512 GB объединенной памяти со скоростью чтения до 819 GB/s. Вот что это значит для запуска языковых моделей на Mac с этим чипом — по расчетам на основе данных самой Apple.

1Характеристики, важные для ИИ

Объединенная память512 GB
Пропускная способность памяти819 GB/s
Устанавливается вMac Studio (2025)
Выделенное место для негоМесто Ultra: добывает до 320 MLX в день

2Какие модели поместятся

При 4 битах на вес модели нужно чуть больше половины гигабайта на миллиард параметров, плюс место для контекста и macOS. С 512 GB чип M3 Ultra без труда вмещает модели примерно до 682 млрд параметров.

Модель (4 бита)Нужно памятиПоместится на M3 Ultra
Модель 8B4,5 GBДа
Модель 14B7,9 GBДа
Модель 32B18 GBДа
Модель 70B39,4 GBДа
gpt-oss-120b, смесь экспертов (MoE)65 GBДа
Qwen3.5-397B-A17B, смесь экспертов (MoE)223,3 GBДа
DeepSeek-V4.1-Flash, смесь экспертов (MoE)316 GBДа

3Насколько быстро

Генерация текста упирается в пропускную способность памяти: для каждого нового токена активные веса модели читаются один раз. Разделив 819 GB/s чипа M3 Ultra на объем, читаемый за токен, получаем потолок ниже. Реальные запуски обычно достигают примерно 45–80% от него (тесты llama.cpp).

Модель (4 бита)Чтение на токенПотолок для одного чата
Модель 8B4,5 GB182 токенов/с
Модель 14B7,9 GB104 токенов/с
Модель 32B18 GB46 токенов/с
Модель 70B39,4 GB21 токенов/с
gpt-oss-120b, смесь экспертов (MoE)2,7 GB303 токенов/с
Qwen3.5-397B-A17B, смесь экспертов (MoE)9,6 GB85 токенов/с
DeepSeek-V4.1-Flash, смесь экспертов (MoE)9 GB91 токенов/с

Измерено: на M3 Ultra (80-core GPU) llama.cpp в своих открытых тестах выдает 92 токенов/с с Llama-2-7B (Q4_0).

5Сравнение с другими чипами

6Вопросы

Потянет ли M3 Ultra модель 70B?
Да. Модели 70B при 4 битах нужно около 40 GB, а у чипа M3 Ultra до 512 GB. Потолок для одного чата — около 21 токенов/с.
Сколько токенов в секунду выдает M3 Ultra?
Для модели 8B при 4 битах потолок — около 182 токенов/с, а реальные запуски достигают примерно от половины до четырех пятых от него. Модели крупнее пропорционально медленнее.
Подходит ли M3 Ultra для ИИ?
Для локального запуска моделей важнее всего память и пропускная способность. У чипа M3 Ultra до 512 GB при 819 GB/s — этого хватает для моделей примерно до 682 млрд параметров. Кроме того, Mac с этим чипом может зарабатывать, выполняя задачи ИИ для MLX Network в MLX Node.

Источники

  1. Apple: Mac Studio (2025) specssupport.apple.com
  2. llama.cpp: Apple Silicon benchmarksgithub.com
M3 Ultra для локальных LLM: память, скорость и модели | MLX