Запустіть LLM на своєму Mac.

1Що вміститься на вашому Mac

Ваги моделі мають вміщатися в пам’ять із запасом для контексту й macOS. За 4 біт на вагу розраховуйте приблизно на 0,55–0,6 ГБ на мільярд параметрів.

Швидкість — окреме питання: для кожного нового токена активні ваги треба один раз прочитати з пам’яті, тож кількість токенів за секунду зростає разом із пропускною здатністю пам’яті. Усі чипи розібрано в нашому посібнику про найкращий Mac для локальних LLM.

2Простий спосіб: LM Studio

LM Studio — безкоштовний застосунок для Mac із вікном чату й каталогом моделей. На Apple Silicon він запускає моделі як у форматі MLX від Apple, так і у форматі GGUF, який використовує llama.cpp.

1. Завантажте LM Studio й відкрийте його.
2. Знайдіть модель, на Apple Silicon вибирайте версію MLX і розмір, що вміщається у вашу пам’ять.
3. Завантажте її в застосунок і почніть спілкуватися. Можна також увімкнути локальний сервер для інших застосунків.

3Одна команда: Ollama

Ollama запускає моделі з термінала й віддає їх іншим застосункам на вашому Mac. Після встановлення одна команда завантажує й запускає модель:

ollama run llama3.2

Починаючи з версії 0.19 Ollama на Apple Silicon має попередню версію на основі фреймворку MLX від Apple для підтримуваних моделей, з великим приростом швидкості; для неї потрібен Mac із пам’яттю понад 32 ГБ (Ollama).

4Найшвидший спосіб: MLX від Apple і mlx-lm

MLX — фреймворк машинного навчання від Apple з відкритим кодом для Apple Silicon, а mlx-lm — його пакет для мовних моделей. Тисячі готових моделей доступні в організації mlx-community на Hugging Face.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

Використовуйте mlx_lm.chat для діалогу в терміналі та mlx_lm.server для локального API, до якого можуть звертатися інші застосунки. На чипах M5 MLX задіює нові нейронні прискорювачі в GPU: за вимірюваннями Apple, перший токен з’являється в 3,3–4,1 раза швидше, ніж на M4 (Apple Machine Learning Research).

5Виміряйте швидкість і дайте Mac роботу

MLX Bench — відкритий рейтинг швидкості MLX на кожному чипі Apple Silicon: токени за секунду під час генерації та обробки запиту, а також пікове використання пам’яті. Запустіть скрипт з одного файлу на своєму Mac і подивіться, яке місце він посяде.

Коли ви не користуєтеся Mac, він може запускати ШІ для інших. MLX Node — безкоштовний застосунок, який виконує завдання ШІ для MLX Network на тому самому фреймворку MLX і заробляє токени MLX за перевірену роботу — у межах заданих вами обмежень.

6Запитання

Чи можна запустити LLM на MacBook Air?

Так. MacBook Air із 16 ГБ без проблем запускає 4-бітні моделі 7B–14B, а з 32 ГБ — моделі приблизно до 30B. Він буде повільнішим за Mac із чипом Pro або Max, у яких вища пропускна здатність пам’яті.

MLX швидший за Ollama на Mac?

Часто так, бо MLX написано для Apple Silicon. Сама Ollama повідомляє про великий приріст швидкості на Apple Silicon у своїй попередній версії на MLX. Докладне порівняння — у нашому посібнику «MLX vs Ollama».

Чи працюють локальні моделі офлайн?

Так. Після завантаження модель працює повністю на вашому Mac, і ваші запити ніколи його не залишають.

Скільки пам’яті потрібно для моделі 70B?

Близько 40 ГБ на ваги за 4 біт, тобто потрібен Mac із 64 ГБ або більше. Моделі mixture-of-experts схожої якості можуть потребувати більше пам’яті, але працюють швидше.