Завантажте й запустіть LLM на своєму Mac.

1Де шукати моделі

На Hugging Face лежить більшість моделей із відкритими вагами. Та сама модель зазвичай доступна в кількох збірках, і формат визначає, який застосунок зможе її запустити:

Не знаєте, яке середовище виконання вибрати? Порівняння — в посібнику MLX vs Ollama vs llama.cpp. Тільки починаєте? Почніть із запуску LLM на Mac.

2Доберіть розмір під свою пам’ять

Ваги моделі мають уміщатися в пам’ять із запасом. MLX зберігає квантовану вагу як її біти плюс спільний масштаб і зсув на кожну групу з 64 ваг — приблизно на пів біта більше на вагу (MLX). Тож 4 біти коштують близько 0,56 ГБ на мільярд параметрів, а 8 біт — близько 1,06 ГБ.

За замовчуванням macOS дозволяє GPU використовувати лише частину об’єднаної пам’яті; Compare виходить приблизно з трьох чвертей, а README mlx-lm показує, як підняти ліміт на macOS 15 або новішій командою sudo sysctl iogpu.wired_limit_mb=N (mlx-lm). Для моделей mixture of experts пам’ять визначає загальна кількість параметрів, а швидкість — кількість активних. Compare робить цей розрахунок для кожної популярної моделі й кожного чипа Apple, а посібник найкращий Mac для локальних LLM пояснює, чому швидкість задає пропускна здатність.

3Квантування: 4 біти, 8 біт та інші

Квантування зберігає кожну вагу в меншій кількості біт, тож модель займає менше пам’яті й працює швидше ціною деякої втрати якості. 4 біти — звичайна відправна точка на Mac. 8 біт ближче до оригіналу й удвічі більше. Нижче 4 біт файли стають маленькими, але відповіді швидше погіршуються, тож пробуйте їх, лише якщо більша модель інакше не вміщується.

• Збірки MLX вказують це в назві: -4bit, -8bit, а іноді збірки зі змішаною точністю, у яких чутливі шари зберігаються з більшою кількістю біт.
• Файли GGUF використовують позначення llama.cpp: Q4_K_M, Q5_K_M, Q8_0 тощо. Якщо запустити в Ollama репозиторій GGUF із Hugging Face, не вказавши варіант, він вибере Q4_K_M, якщо такий є (Hugging Face).
• Зробіть власну збірку MLX з оригінальних ваг: mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q створює 4-бітну копію (mlx-lm).

4Місце на диску й де зберігаються моделі

Завантаження важить приблизно стільки, скільки ваги в таблиці вище, тож 4-бітна модель на 8B займає кілька гігабайтів, а модель на 70B — десятки гігабайтів. Якщо пробувати кілька розмірів чи збірок однієї моделі, місце швидко закінчується.

mlx-lm та інші інструменти Hugging Face зберігають завантаження в ~/.cache/huggingface/hub; щоб перенести кеш, задайте HF_HOME або HF_HUB_CACHE. hf cache ls показує вміст, а hf cache rm видаляє модель (Hugging Face). Ollama і LM Studio зберігають моделі у власних папках і керують ними самі.

5Закриті моделі й токени Hugging Face

Деякі моделі, зокрема Llama, закриті (gated): перш ніж їх завантажити, потрібно прийняти умови творця (Hugging Face).

1. Увійдіть у безкоштовний обліковий запис Hugging Face і відкрийте сторінку моделі.
2. Прийміть умови кнопкою на сторінці (за замовчуванням Agree and send request to access repo). Деякі творці схвалюють запити вручну, і це займає більше часу.
3. Створіть токен доступу в налаштуваннях Hugging Face.
4. Передайте токен своїм інструментам: виконайте hf auth login у Терміналі для mlx-lm та інших інструментів Hugging Face (Hugging Face) або вставте його в поле токена Hugging Face у застосунку.

6Запуск: чотири способи

mlx-lm: MLX від Apple у Терміналі

Встановіть його через pip і вкажіть будь-яку модель MLX на Hugging Face; під час першого запуску вона завантажиться (mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server віддає модель через API у стилі OpenAI на localhost:8080 для інших застосунків (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: застосунок із каталогом моделей

LM Studio шукає й завантажує моделі з Hugging Face просто в застосунку й запускає на Apple Silicon як моделі MLX, так і GGUF через llama.cpp. Йому потрібні Apple Silicon і macOS 14 або новіша, а рекомендовано 16 ГБ пам’яті або більше (LM Studio).

Ollama: одна команда

Ollama запускає моделі зі своєї бібліотеки й будь-який репозиторій GGUF на Hugging Face напряму, за бажання з тегом квантування (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: наш безкоштовний застосунок

MLX Harness — наш безкоштовний застосунок для Mac на основі vMLX: він шукає моделі MLX на Hugging Face, веде чати, запускає інструменти й моделі зображень і віддає все через локальний API. Його шлюз теж використовує порт 8080, тож не запускайте його одночасно з mlx_lm.server на тому самому порту. Коли ви не користуєтеся Mac, MLX Node може натомість віддати його час MLX Network.

7Запитання

Де завантажити LLM для Mac?

На Hugging Face. Шукайте збірки MLX — багато з них публікує mlx-community — або файли GGUF. LM Studio і Ollama можуть шукати й завантажувати моделі за вас.

Модель якого розміру завантажити?

Таку, ваги якої вільно вміщуються в пам’ять Mac: у 4 бітах близько 0,56 ГБ на мільярд параметрів, тобто близько 4,5 ГБ для моделі на 8B і 39 ГБ для 70B, плюс місце для контексту. Compare на mlx.app перевірить це для вашого Mac.

MLX чи GGUF на Mac?

Обидва добре працюють на Apple Silicon. Збірки MLX створено для MLX від Apple, і вони працюють у mlx-lm, LM Studio та MLX Harness; файли GGUF — у llama.cpp, Ollama та LM Studio.

Чи потрібен обліковий запис Hugging Face?

Для публічних моделей — ні. Для закритих потрібні безкоштовний обліковий запис, прийнята ліцензія і токен доступу.

Чи можна запускати завантажені моделі офлайн?

Так. Коли файли на Mac, модель працює без інтернету, а ваші промпти лишаються на Mac.