Mac mini или Mac Studio для ИИ.

1Характеристики, важные для ИИ

Каждая конфигурация ведет к моделям, которые на ней хорошо работают. Прежние модели устроены так же: Mac mini с M4 или M4 Pro и Mac Studio с M4 Max или M3 Ultra (рейтинг всех Mac).

2Как быстро пишет каждый

При генерации текста модель читает свои активные веса один раз на каждый токен, поэтому пропускная способность памяти задает потолок скорости. Для плотной модели 32B в 4 битах, около 18 ГБ:

Модели mixture-of-experts читают на каждый токен лишь часть весов, поэтому пишут намного быстрее, чем можно ждать по их размеру: память решает, поместятся ли они, а темп все равно задает пропускная способность. Чтение длинного запроса зависит от вычислительной мощности GPU, а не от пропускной способности, и здесь чипы Max и Ultra с их более крупными GPU уходят еще дальше вперед.

3Какой для каких моделей

• Небольшие и средние модели (примерно до 30B в 4 битах), чат, помощники для кода, домашний ИИ-сервер: Mac mini с M5 Pro и 48 или 64 ГБ. Mac mini на M6 с 32 ГБ запускает те же размеры примерно вдвое медленнее.
• Модели класса 70B, gpt-oss-120b, длинный контекст или несколько моделей сразу: Mac Studio с M5 Max и 128 ГБ. Собственные файлы gpt-oss-120b от OpenAI занимают около 65 ГБ (OpenAI) — больше, чем любой Mac mini может отдать своему GPU.
• Самые большие открытые модели (сотни миллиардов параметров): Mac Studio с M5 Ultra и 256 или 512 ГБ либо несколько Mac вместе (кластеры Mac для ИИ).

Для конкретной модели ее страница показывает самый доступный Mac, который ее запустит, и скорость на каждом чипе: все открытые модели.

4Работа круглые сутки

Оба — тихие и экономичные машины для круглосуточной работы. По данным Apple выше, Mac mini потребляет в простое 4–6 Вт, а Mac Studio — 7–9 Вт; под полной нагрузкой Mac Studio с M5 Ultra может брать до 385 Вт. Как не дать ему уснуть и отдавать модели другим устройствам, описано в руководстве Mac mini как ИИ-сервер, а во что обходятся сутки — в руководстве сколько потребляет Mac.

Пока он простаивает, MLX Node может выполнять задачи ИИ для MLX Network и зарабатывать токены MLX. Выделенное место под чип майнит быстрее: Core для M6, Pro для M5 Pro и M5 Max, Ultra для M5 Ultra. Заработок не гарантирован: прочитайте о рисках.

5Вопросы

Стоит ли Mac Studio своих денег по сравнению с Mac mini для ИИ?

Если нужны модели больше примерно 85B параметров, gpt-oss-120b или длинный контекст — да: только у Mac Studio больше 64 ГБ. Модели примерно до 30B в 4 битах запустит и Mac mini с M5 Pro, при примерно вдвое меньшей пропускной способности, чем у M5 Max.

Потянет ли Mac mini модель 70B?

Только M5 Pro с 64 ГБ, в 4 битах и с коротким контекстом: около 39 ГБ весов из 48 ГБ, доступных GPU по умолчанию, со скоростью несколько токенов в секунду. Mac Studio со 128 ГБ запускает ее с запасом под контекст и примерно вдвое быстрее.

Mac Studio на M5 Max или M5 Ultra для LLM?

У M5 Ultra примерно вдвое выше пропускная способность (1 200 против 614 ГБ/с), так что он пишет примерно вдвое быстрее, и памяти у него до 512 ГБ. M5 Max со 128 ГБ покрывает модели примерно до 170B в 4 битах. См. M5 Max vs M5 Ultra.

Mac mini на M6 или M5 Pro для ИИ?

M5 Pro: он читает память примерно на 80% быстрее, чем M6 с 24 или 32 ГБ, и бывает с 64 ГБ вместо 32 ГБ.