Коротко
- MLX — фреймворк машинного обучения от Apple для Apple Silicon. mlx-lm запускает на нем языковые модели.
- llama.cpp — быстрый движок инференса на C/C++, который запускает модели GGUF почти на любом оборудовании, включая Mac через Metal.
- Ollama — простая оболочка: одна команда, чтобы скачать и запустить модель, плюс локальный API. На Apple Silicon у нее теперь есть предварительная версия на MLX.
- Для максимальной скорости на Mac берите MLX; для самого широкого выбора моделей и платформ — llama.cpp; для самого простого старта — Ollama или LM Studio.
1Что есть что
| MLX (mlx-lm) | llama.cpp | Ollama | |
|---|---|---|---|
| Разработчик | Apple, открытый код (MIT) | Сообщество open source | Ollama, открытый код |
| Работает на | Apple Silicon | Mac, Windows, Linux, многие GPU | Mac, Windows, Linux |
| Формат моделей | MLX (safetensors) | GGUF | Собственная библиотека; GGUF, а в предварительной версии и MLX на Mac |
| Лучше всего для | Скорость и исследования на Mac | Переносимость, выбор квантования | Простота, приложения, которым нужен API |
| Обучение и дообучение | Да (LoRA и полное) | Ограниченно | Нет |
2Скорость на Apple Silicon
При генерации текста все три упираются в одно и то же — пропускную способность памяти. Разница в том, насколько хорошо каждый использует GPU и как квантованы его модели.
MLX написан для объединенной памяти Apple Silicon и на чипах M5 задействует нейронные ускорители GPU: по измерениям Apple, первый токен появляется в 3,3–4,1 раза быстрее, чем на M4 (Apple). В марте 2026 года Ollama начала переходить на MLX на Apple Silicon в предварительной версии с большим приростом скорости для поддерживаемых моделей (Ollama), и это многое говорит о том, где сегодня лучшая производительность на Mac.
llama.cpp по-прежнему очень быстр и хорошо изучен на Mac; его открытая ветка с тестами — лучший ориентир для сравнения чипов (llama.cpp). Цифры именно для MLX — в MLX Bench.
3Что выбрать
- Хотите пообщаться с моделью уже сегодня: LM Studio (приложение, которое запускает модели и MLX, и GGUF) или Ollama.
- Пишете приложение, которому нужен локальный API: Ollama или
mlx_lm.serverдля OpenAI-совместимого эндпоинта на MLX. - Нужна максимальная скорость на Mac или дообучение: MLX с mlx-lm.
- Нужна одинаковая настройка на Mac, Linux и Windows или конкретное квантование GGUF: llama.cpp.
Наше пошаговое руководство по запуску LLM на Mac охватывает все эти варианты.
4MLX за пределами одного Mac
MLX работает и на нескольких Mac — через Thunderbolt 5 с RDMA (кластеры Mac для ИИ). А еще это движок MLX Network: MLX Node выполняет задачи ИИ для сети на фреймворке MLX и зарабатывает токены MLX за проверенную работу. MLX Network — независимый проект, Apple его не создавала; вот в чем разница.
5Вопросы
- MLX быстрее llama.cpp?
- На Apple Silicon MLX часто так же быстр или быстрее при генерации и особенно при обработке запросов на чипах M5. Результаты зависят от модели и квантования, поэтому сравнивайте на своем Mac.
- Может ли Ollama использовать MLX?
- Да, в предварительной версии начиная с Ollama 0.19 на Apple Silicon, для поддерживаемых моделей, на Mac с памятью больше 32 ГБ.
- Отличаются ли модели MLX и GGUF?
- Это разные форматы файлов для одних и тех же видов моделей. Многие популярные модели публикуются в обоих; в организации mlx-community на Hugging Face тысячи моделей, сконвертированных в MLX.