Запустите LLM на своем Mac.

1Что поместится на вашем Mac

Веса модели должны помещаться в память с запасом для контекста и macOS. При 4 битах на вес рассчитывайте примерно на 0,55–0,6 ГБ на миллиард параметров.

Скорость — отдельный вопрос: для каждого нового токена активные веса нужно один раз прочитать из памяти, поэтому число токенов в секунду растет вместе с пропускной способностью памяти. Все чипы разобраны в нашем руководстве о лучшем Mac для локальных LLM.

2Простой способ: LM Studio

LM Studio — бесплатное приложение для Mac с окном чата и каталогом моделей. На Apple Silicon оно запускает модели как в формате MLX от Apple, так и в формате GGUF, который использует llama.cpp.

1. Скачайте LM Studio и откройте его.
2. Найдите модель, на Apple Silicon выбирайте версию MLX и размер, который помещается в вашу память.
3. Загрузите ее и начните общаться. Можно также включить локальный сервер для других приложений.

3Одна команда: Ollama

Ollama запускает модели из терминала и отдает их другим приложениям на вашем Mac. После установки одна команда скачивает и запускает модель:

ollama run llama3.2

Начиная с версии 0.19 у Ollama на Apple Silicon есть предварительная версия на основе фреймворка MLX от Apple для поддерживаемых моделей, с большим приростом скорости; для нее нужен Mac с памятью больше 32 ГБ (Ollama).

4Самый быстрый способ: MLX от Apple и mlx-lm

MLX — фреймворк машинного обучения от Apple с открытым кодом для Apple Silicon, а mlx-lm — его пакет для языковых моделей. Тысячи готовых моделей доступны в организации mlx-community на Hugging Face.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

Используйте mlx_lm.chat для диалога в терминале и mlx_lm.server для локального API, к которому могут обращаться другие приложения. На чипах M5 MLX задействует новые нейронные ускорители в GPU: по измерениям Apple, первый токен появляется в 3,3–4,1 раза быстрее, чем на M4 (Apple Machine Learning Research).

5Измерьте скорость и дайте Mac работу

MLX Bench — открытый рейтинг скорости MLX на каждом чипе Apple Silicon: токены в секунду при генерации и обработке запроса, а также пиковое потребление памяти. Запустите скрипт из одного файла на своем Mac и посмотрите, какое место он займет.

Когда вы не пользуетесь Mac, он может запускать ИИ для других. MLX Node — бесплатное приложение, которое выполняет задачи ИИ для MLX Network на том же фреймворке MLX и зарабатывает токены MLX за проверенную работу — в заданных вами пределах.

6Вопросы

Можно ли запустить LLM на MacBook Air?

Да. MacBook Air с 16 ГБ без труда запускает 4-битные модели 7B–14B, а с 32 ГБ — модели примерно до 30B. Он будет медленнее Mac с чипом Pro или Max, у которых выше пропускная способность памяти.

MLX быстрее Ollama на Mac?

Часто да, потому что MLX написан для Apple Silicon. Сама Ollama сообщает о большом приросте скорости на Apple Silicon в своей предварительной версии на MLX. Подробное сравнение — в нашем руководстве «MLX vs Ollama».

Работают ли локальные модели офлайн?

Да. После загрузки модель работает целиком на вашем Mac, и ваши запросы никогда его не покидают.

Сколько памяти нужно для модели 70B?

Около 40 ГБ на веса при 4 битах, то есть нужен Mac с 64 ГБ или больше. Модели mixture-of-experts сопоставимого качества могут требовать больше памяти, но работают быстрее.