Найкращий Mac для локальних LLM.

1Чому все вирішують пам’ять і пропускна здатність

Мовна модель пише по одному токену й для кожного читає з пам’яті всі активні ваги. Тому межа швидкості в одному діалозі — приблизно пропускна здатність пам’яті, поділена на розмір активних ваг. У відкритих тестах llama.cpp реальна генерація на чипах Apple досягає 43–80% цієї межі (llama.cpp).

Читання вашого запиту — інша справа: ця частина впирається в обчислення, тому чипи покоління M5 з нейронними прискорювачами в GPU обробляють запити в кілька разів швидше за попередні (Apple).

2Усі чипи в порівнянні

Старі чипи досі добре справляються, якщо їм вистачає пам’яті. M1 Max або M2 Max із 64 ГБ читає пам’ять зі швидкістю 400 ГБ/с — швидше за будь-який нинішній базовий чип — і на вторинному ринку часто коштує набагато дешевше.

3Який Mac купити

Просто спробувати: MacBook Air або Mac mini з 16–32 ГБ

Без проблем запускає моделі 7B–14B, а з 32 ГБ — моделі класу 30B. Пасує для чату, роботи з текстами й невеликої допомоги з кодом.

Найкраще співвідношення ціни й можливостей: чип Pro і 64 ГБ

Mac mini або MacBook Pro з M4 Pro чи M5 Pro вміщує моделі класу 70B і в доброму темпі запускає моделі середнього розміру. Золота середина для більшості розробників.

Серйозний локальний ШІ: чип Max і 128 ГБ

Запускає gpt-oss-120b (близько 65 ГБ за 4 біт) на ноутбуці; виходячи з пропускної здатності за даними Apple, теоретична стеля для одного потоку на M5 Max — близько 225 токенів за секунду. Найкращий портативний варіант.

Найбільші моделі: Mac Studio з Ultra

До 512 ГБ за 1,2 ТБ/с з M5 Ultra — це моделі із сотнями мільярдів параметрів на одному столі. Для ще більших моделей Mac можна об’єднати в кластер через Thunderbolt 5: див. кластери Mac для ШІ.

4Нехай Mac окупає себе

Mac, куплений для ШІ, більшу частину часу простоює. MLX Node — безкоштовний застосунок, який віддає ці вільні ресурси MLX Network: виконує завдання ШІ на тому самому фреймворку MLX і заробляє токени MLX за перевірену роботу. Виділене місце під чип множить заробіток: місце Pro працює на повну на чипі Pro або Max, місце Ultra — на чипі Ultra.

Спершу порівняйте свій Mac у MLX Bench: там видно виміряну кількість токенів за секунду для відкритих моделей на кожному чипі.

5Запитання

Чи вистачить 16 ГБ для локальної LLM?

Так, для моделей приблизно до 14B параметрів за 4 біт. Для більших моделей або довгого контексту значно комфортніше 32 ГБ і більше.

Mac Studio чи MacBook Pro для LLM?

Обидва бувають із чипами Max і до 128 ГБ пам’яті. MacBook Pro портативний; Mac Studio менше гріється за тривалого навантаження, і це єдиний Mac із чипами Ultra та пам’яттю до 512 ГБ.

Mac кращий за відеокарту Nvidia для локального ШІ?

Для найбільших моделей удома — часто так: об’єднана пам’ять Mac вміщує набагато більше, ніж пам’ять споживчої відеокарти. Топова карта Nvidia швидша на моделях, які вміщаються в її пам’ять.

Чи прискорює M5 роботу LLM?

Так, переважно під час читання запитів: за вимірюваннями Apple з MLX, перший токен на M5 з’являється в 3,3–4,1 раза швидше, ніж на M4. Швидкість генерації зростає разом із пропускною здатністю пам’яті, яка від M4 до M5 зросла на 28%.