Лучший Mac для локальных LLM.

1Почему все решают память и пропускная способность

Языковая модель пишет по одному токену и для каждого читает из памяти все активные веса. Поэтому предел скорости в одном диалоге — примерно пропускная способность памяти, деленная на размер активных весов. В открытых тестах llama.cpp реальная генерация на чипах Apple достигает 43–80% этого предела (llama.cpp).

Чтение вашего запроса — другое дело: эта часть упирается в вычисления, поэтому чипы поколения M5 с нейронными ускорителями в GPU обрабатывают запросы в несколько раз быстрее предыдущих (Apple).

2Все чипы в сравнении

Старые чипы по-прежнему хорошо справляются, если им хватает памяти. M1 Max или M2 Max с 64 ГБ читает память со скоростью 400 ГБ/с — быстрее любого нынешнего базового чипа — и на вторичном рынке часто стоит намного дешевле.

3Какой Mac купить

Просто попробовать: MacBook Air или Mac mini с 16–32 ГБ

Без труда запускает модели 7B–14B, а с 32 ГБ — модели класса 30B. Подходит для чата, работы с текстами и небольшой помощи с кодом.

Лучшее соотношение цены и возможностей: чип Pro и 64 ГБ

Mac mini или MacBook Pro с M4 Pro или M5 Pro вмещает модели класса 70B и в хорошем темпе запускает модели среднего размера. Золотая середина для большинства разработчиков.

Серьезный локальный ИИ: чип Max и 128 ГБ

Запускает gpt-oss-120b (около 65 ГБ при 4 битах) на ноутбуке; исходя из пропускной способности по данным Apple, теоретический потолок для одного потока на M5 Max — около 225 токенов в секунду. Лучший портативный вариант.

Самые большие модели: Mac Studio с Ultra

До 512 ГБ при 1,2 ТБ/с с M5 Ultra — это модели с сотнями миллиардов параметров на одном столе. Для еще более крупных моделей Mac можно объединить в кластер через Thunderbolt 5: см. кластеры Mac для ИИ.

4Пусть Mac окупает себя

Mac, купленный для ИИ, большую часть времени простаивает. MLX Node — бесплатное приложение, которое отдает эти свободные ресурсы MLX Network: выполняет задачи ИИ на том же фреймворке MLX и зарабатывает токены MLX за проверенную работу. Выделенное место под чип умножает заработок: место Pro работает в полную силу на чипе Pro или Max, место Ultra — на чипе Ultra.

Сначала сравните свой Mac в MLX Bench: там видно измеренное число токенов в секунду для открытых моделей на каждом чипе.

5Вопросы

Хватит ли 16 ГБ для локальной LLM?

Да, для моделей примерно до 14B параметров при 4 битах. Для более крупных моделей или длинного контекста гораздо комфортнее 32 ГБ и больше.

Mac Studio или MacBook Pro для LLM?

Оба бывают с чипами Max и до 128 ГБ памяти. MacBook Pro портативен; Mac Studio меньше греется при долгой нагрузке, и это единственный Mac с чипами Ultra и памятью до 512 ГБ.

Mac лучше видеокарты Nvidia для локального ИИ?

Для самых больших моделей дома — часто да: объединенная память Mac вмещает намного больше, чем память потребительской видеокарты. Топовая карта Nvidia быстрее на моделях, которые помещаются в ее память.

Ускоряет ли M5 работу LLM?

Да, в основном при чтении запросов: по измерениям Apple с MLX, первый токен на M5 появляется в 3,3–4,1 раза быстрее, чем на M4. Скорость генерации растет вместе с пропускной способностью памяти, которая от M4 к M5 выросла на 28%.