УвійтиСтворити гаманець

Mac mini чи Mac Studio для ШІ.

Обидва — компактні настільні Mac, що запускають моделі ШІ на власному GPU та об’єднаній пам’яті. Важлива різниця одна: скільки пам’яті можна взяти і як швидко чип її читає. Ось порівняння за даними Apple і який із них підходить для яких моделей.

Оновлено

Коротко

  • Mac mini має до 64 ГБ (M5 Pro), Mac Studio — до 128 ГБ з M5 Max і до 512 ГБ з M5 Ultra (Apple, Apple).
  • Пропускна здатність задає швидкість письма: 153–170 ГБ/с у Mac mini на M6, 307 ГБ/с на M5 Pro, до 614 ГБ/с на M5 Max і 1 200 ГБ/с на M5 Ultra.
  • Моделі приблизно до 30B параметрів у 4 бітах: досить Mac mini з M5 Pro. Моделі класу 70B, gpt-oss-120b або довгий контекст: Mac Studio зі 128 ГБ. Найбільші відкриті моделі: Mac Studio з M5 Ultra.
  • Пам’ять не можна додати пізніше, тож обирайте її під моделі, які захочете запускати наступного року, а не лише сьогодні.

1Характеристики, що важать для ШІ

MacВаріанти пам’ятіПропускна здатність пам’ятіНайбільша модель у 4 бітахЖивлення, від простою до максимуму
Mac mini, M616, 24 або 32 ГБ153–170 ГБ/сблизько 21B–42B4–70 Вт
Mac mini, M5 Pro24, 48 або 64 ГБ307 ГБ/сблизько 32B–85B6–145 Вт
Mac Studio, M5 Max36, 48, 64 або 128 ГБ460–614 ГБ/сблизько 48B–170B7–200 Вт
Mac Studio, M5 Ultra96, 256 або 512 ГБ1 200 ГБ/сблизько 128B–682B9–385 Вт
Пам’ять і пропускна здатність — з технічних характеристик Apple для Mac mini і Mac Studio; живлення — з даних Apple для Mac mini і Mac Studio. Найбільша модель: лише ваги, GPU використовує близько 75% пам’яті (як це розраховано).

Кожна конфігурація веде до моделей, які на ній добре працюють. Попередні моделі влаштовані так само: Mac mini з M4 або M4 Pro і Mac Studio з M4 Max або M3 Ultra (усі Mac у рейтингу).

2Як швидко пише кожен

Під час письма модель читає свої активні ваги один раз на кожен токен, тож пропускна здатність пам’яті задає стелю швидкості. Для щільної моделі 32B у 4 бітах, близько 18 ГБ:

MacСтеля для одного чатуВміщається?
Mac mini, M6 (32 ГБ)близько 9 токенів/сТак
Mac mini, M5 Pro (48 або 64 ГБ)близько 17 токенів/сТак
Mac Studio, M5 Max (48 ГБ або більше)близько 34 токенів/сТак
Mac Studio, M5 Ultraблизько 67 токенів/сТак
Пропускна здатність, поділена на 18 ГБ. Реальні запуски зазвичай досягають 45–80% стелі (тести llama.cpp). Оцінки, не виміри.

Моделі із сумішшю експертів (mixture-of-experts) читають на кожен токен лише частину ваг, тож пишуть значно швидше, ніж підказує їхній розмір: пам’ять вирішує, чи вони вмістяться, а темп однаково задає пропускна здатність. Читання довгого запиту залежить від обчислювальної потужності GPU, а не від пропускної здатності, і тут більші GPU чипів Max і Ultra відриваються ще далі.

3Який для яких моделей

  • Малі й середні моделі (приблизно до 30B у 4 бітах), чат, помічники для коду, домашній ШІ-сервер: Mac mini з M5 Pro і 48 або 64 ГБ. Mac mini на M6 із 32 ГБ запускає ті самі розміри приблизно вдвічі повільніше.
  • Моделі класу 70B, gpt-oss-120b, довгий контекст або кілька моделей одночасно: Mac Studio з M5 Max і 128 ГБ. Власні файли gpt-oss-120b від OpenAI займають близько 65 ГБ (OpenAI) — більше, ніж будь-який Mac mini може віддати своєму GPU.
  • Найбільші відкриті моделі (сотні мільярдів параметрів): Mac Studio з M5 Ultra і 256 або 512 ГБ або кілька Mac разом (кластери Mac для ШІ).

Для конкретної моделі її сторінка показує найменший Mac, що її запускає, і швидкість на кожному чипі: кожна відкрита модель.

4Робота цілий день

Обидва — тихі й економні машини для цілодобової роботи. За даними Apple вище Mac mini в простої споживає 4–6 Вт, а Mac Studio — 7–9 Вт; під повним навантаженням Mac Studio з M5 Ultra може брати до 385 Вт. Mac mini як ШІ-сервер пояснює, як не дати йому заснути й віддавати моделі іншим пристроям, а скільки споживає Mac — скільки коштує доба роботи.

Коли він простоює, MLX Node може виконувати завдання ШІ для MLX Network і заробляти токени MLX. Виділене місце під чип добуває швидше: Core для M6, Pro для M5 Pro і M5 Max, Ultra для M5 Ultra. Заробіток не гарантований: прочитайте про ризики.

5Запитання

Чи вартий Mac Studio переплати порівняно з Mac mini для ШІ?
Якщо вам потрібні моделі понад приблизно 85B параметрів, gpt-oss-120b або довгий контекст — так: лише Mac Studio має понад 64 ГБ. Моделі приблизно до 30B у 4 бітах запускає й Mac mini з M5 Pro, приблизно з половиною пропускної здатності M5 Max.
Чи потягне Mac mini модель 70B?
Лише M5 Pro з 64 ГБ, у 4 бітах і з коротким контекстом: близько 39 ГБ ваг у 48 ГБ, які GPU типово може використовувати, і кілька токенів за секунду. Mac Studio зі 128 ГБ запускає її із запасом на контекст і приблизно вдвічі швидше.
Mac Studio на M5 Max чи M5 Ultra для LLM?
M5 Ultra має приблизно вдвічі більшу пропускну здатність (1 200 проти 614 ГБ/с), тож пише приблизно вдвічі швидше, і має до 512 ГБ. M5 Max зі 128 ГБ покриває моделі приблизно до 170B у 4 бітах. Дивіться M5 Max проти M5 Ultra.
Mac mini на M6 чи M5 Pro для ШІ?
M5 Pro: він читає пам’ять приблизно на 80% швидше, ніж M6 із 24 або 32 ГБ, і має до 64 ГБ замість 32 ГБ.

Джерела

  1. Applesupport.apple.com
  2. Applesupport.apple.com
  3. Mac minisupport.apple.com
  4. Mac Studiosupport.apple.com
  5. тести llama.cppgithub.com
  6. OpenAIhuggingface.co

Читайте також

ШІ на Apple SiliconНайкращий Mac для локальних LLM.Який Mac купити для LLM? Пам’ять вирішує, що вміститься, а пропускна здатність — швидкість. Усі чипи Apple Silicon від MacBook Air до Mac Studio M5 Ultra.Читати посібникШІ на Apple SiliconMac mini як ваш ШІ-сервер.Mac mini як цілодобовий ШІ-сервер: яка модель на який Mac mini, як не дати йому заснути, API, сумісний з OpenAI, для мережі й агентів, споживання.Читати посібникШІ на Apple SiliconСкільки оперативної пам’яті потрібно для LLM?Одне правило для будь-якої LLM: близько 0,56 ГБ на мільярд параметрів у 4 бітах, 2 ГБ у 16 бітах, плюс контекст. Таблиці від 1B до 671B і для кожного Mac.Читати посібник