Скачайте и запустите LLM на своем Mac.

1Где искать модели

На Hugging Face лежит большинство моделей с открытыми весами. Одна и та же модель обычно доступна в нескольких сборках, и формат определяет, какое приложение сможет ее запустить:

Не знаете, какую среду выполнения выбрать? Сравнение — в руководстве MLX vs Ollama vs llama.cpp. Только начинаете? Начните с запуска LLM на Mac.

2Подберите размер под свою память

Веса модели должны помещаться в память с запасом. MLX хранит квантованный вес как его биты плюс общий масштаб и смещение на каждую группу из 64 весов — примерно на полбита больше на вес (MLX). Поэтому 4 бита стоят около 0,56 ГБ на миллиард параметров, а 8 бит — около 1,06 ГБ.

По умолчанию macOS разрешает GPU использовать только часть объединенной памяти; Compare исходит примерно из трех четвертей, а README mlx-lm показывает, как поднять лимит на macOS 15 или новее командой sudo sysctl iogpu.wired_limit_mb=N (mlx-lm). Для моделей mixture of experts память определяется общим числом параметров, а скорость — числом активных. Compare делает этот расчет для каждой популярной модели и каждого чипа Apple, а руководство лучший Mac для локальных LLM объясняет, почему скорость задает пропускная способность.

3Квантование: 4 бита, 8 бит и другие

Квантование хранит каждый вес в меньшем числе бит, поэтому модель занимает меньше памяти и работает быстрее ценой некоторой потери качества. 4 бита — обычная отправная точка на Mac. 8 бит ближе к оригиналу и вдвое больше. Ниже 4 бит файлы становятся маленькими, но ответы быстрее ухудшаются, так что пробуйте их, только если более крупная модель иначе не помещается.

• Сборки MLX указывают это в имени: -4bit, -8bit, а иногда сборки со смешанной точностью, в которых чувствительные слои хранятся с большим числом бит.
• Файлы GGUF используют обозначения llama.cpp: Q4_K_M, Q5_K_M, Q8_0 и так далее. Если запустить в Ollama репозиторий GGUF с Hugging Face, не указав вариант, он выберет Q4_K_M, если тот есть (Hugging Face).
• Сделайте свою сборку MLX из исходных весов: mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q создает 4-битную копию (mlx-lm).

4Место на диске и где хранятся модели

Загрузка весит примерно столько же, сколько веса в таблице выше, поэтому 4-битная модель на 8B занимает несколько гигабайт, а модель на 70B — десятки гигабайт. Если пробовать несколько размеров или сборок одной модели, место быстро заканчивается.

mlx-lm и другие инструменты Hugging Face хранят загрузки в ~/.cache/huggingface/hub; чтобы перенести кэш, задайте HF_HOME или HF_HUB_CACHE. hf cache ls показывает содержимое, а hf cache rm удаляет модель (Hugging Face). Ollama и LM Studio хранят модели в собственных папках и управляют ими сами.

5Закрытые модели и токены Hugging Face

Некоторые модели, в том числе Llama, закрыты (gated): прежде чем их скачать, нужно принять условия создателя (Hugging Face).

1. Войдите в бесплатный аккаунт Hugging Face и откройте страницу модели.
2. Примите условия кнопкой на странице (по умолчанию Agree and send request to access repo). Некоторые создатели одобряют запросы вручную, и это занимает больше времени.
3. Создайте токен доступа в настройках Hugging Face.
4. Передайте токен своим инструментам: выполните hf auth login в Терминале для mlx-lm и других инструментов Hugging Face (Hugging Face) или вставьте его в поле токена Hugging Face в приложении.

6Запуск: четыре способа

mlx-lm: MLX от Apple в Терминале

Установите его через pip и укажите любую модель MLX на Hugging Face; при первом запуске она скачается (mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server отдает модель через API в стиле OpenAI на localhost:8080 для других приложений (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: приложение с каталогом моделей

LM Studio ищет и скачивает модели с Hugging Face прямо в приложении и запускает на Apple Silicon как модели MLX, так и GGUF через llama.cpp. Ему нужны Apple Silicon и macOS 14 или новее, а рекомендуется 16 ГБ памяти или больше (LM Studio).

Ollama: одна команда

Ollama запускает модели из своей библиотеки и любой репозиторий GGUF на Hugging Face напрямую, при желании с тегом квантования (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: наше бесплатное приложение

MLX Harness — наше бесплатное приложение для Mac на основе vMLX: оно ищет модели MLX на Hugging Face, ведет чаты, запускает инструменты и модели изображений и отдает все через локальный API. Его шлюз тоже использует порт 8080, поэтому не запускайте его одновременно с mlx_lm.server на том же порту. Когда вы не пользуетесь Mac, MLX Node может вместо этого отдать его время MLX Network.

7Вопросы

Где скачать LLM для Mac?

На Hugging Face. Ищите сборки MLX — многие публикует mlx-community — или файлы GGUF. LM Studio и Ollama могут искать и скачивать модели за вас.

Модель какого размера скачать?

Такую, веса которой свободно помещаются в память Mac: в 4 битах около 0,56 ГБ на миллиард параметров, то есть около 4,5 ГБ для модели на 8B и 39 ГБ для 70B, плюс место для контекста. Compare на mlx.app проверит это для вашего Mac.

MLX или GGUF на Mac?

Оба хорошо работают на Apple Silicon. Сборки MLX сделаны для MLX от Apple и работают в mlx-lm, LM Studio и MLX Harness; файлы GGUF — в llama.cpp, Ollama и LM Studio.

Нужен ли аккаунт Hugging Face?

Для публичных моделей — нет. Для закрытых нужны бесплатный аккаунт, принятая лицензия и токен доступа.

Можно ли запускать скачанные модели офлайн?

Да. Когда файлы на Mac, модель работает без интернета, а ваши промпты остаются на Mac.