Коротко
- MLX — фреймворк машинного навчання від Apple для Apple Silicon. mlx-lm запускає на ньому мовні моделі.
- llama.cpp — швидкий рушій інференсу на C/C++, який запускає моделі GGUF майже на будь-якому обладнанні, зокрема на Mac через Metal.
- Ollama — проста оболонка: одна команда, щоб завантажити й запустити модель, плюс локальний API. На Apple Silicon вона тепер має попередню версію на MLX.
- Для максимальної швидкості на Mac беріть MLX; для найширшого вибору моделей і платформ — llama.cpp; для найпростішого старту — Ollama або LM Studio.
1Що є що
| MLX (mlx-lm) | llama.cpp | Ollama | |
|---|---|---|---|
| Розробник | Apple, відкритий код (MIT) | Спільнота open source | Ollama, відкритий код |
| Працює на | Apple Silicon | Mac, Windows, Linux, багато GPU | Mac, Windows, Linux |
| Формат моделей | MLX (safetensors) | GGUF | Власна бібліотека; GGUF, а в попередній версії й MLX на Mac |
| Найкраще для | Швидкість і дослідження на Mac | Переносність, вибір квантування | Простота, застосунки, яким потрібен API |
| Навчання й донавчання | Так (LoRA і повне) | Обмежено | Ні |
2Швидкість на Apple Silicon
Під час генерації тексту всі три впираються в одне й те саме — пропускну здатність пам’яті. Різниця в тому, наскільки добре кожен використовує GPU і як квантовано його моделі.
MLX написано для об’єднаної пам’яті Apple Silicon, і на чипах M5 він задіює нейронні прискорювачі GPU: за вимірюваннями Apple, перший токен з’являється в 3,3–4,1 раза швидше, ніж на M4 (Apple). У березні 2026 року Ollama почала переходити на MLX на Apple Silicon у попередній версії з великим приростом швидкості для підтримуваних моделей (Ollama), і це багато каже про те, де сьогодні найкраща продуктивність на Mac.
llama.cpp і далі дуже швидкий і добре виміряний на Mac; його відкрита гілка з тестами — найкращий орієнтир для порівняння чипів (llama.cpp). Цифри саме для MLX — у MLX Bench.
3Що вибрати
- Хочете поспілкуватися з моделлю вже сьогодні: LM Studio (застосунок, що запускає моделі і MLX, і GGUF) або Ollama.
- Пишете застосунок, якому потрібен локальний API: Ollama або
mlx_lm.serverдля OpenAI-сумісного ендпоінта на MLX. - Потрібна максимальна швидкість на Mac або донавчання: MLX з mlx-lm.
- Потрібне однакове налаштування на Mac, Linux і Windows або конкретне квантування GGUF: llama.cpp.
Наш покроковий посібник із запуску LLM на Mac охоплює всі ці варіанти.
4MLX за межами одного Mac
MLX працює й на кількох Mac — через Thunderbolt 5 з RDMA (кластери Mac для ШІ). А ще це рушій MLX Network: MLX Node виконує завдання ШІ для мережі на фреймворку MLX і заробляє токени MLX за перевірену роботу. MLX Network — незалежний проєкт, Apple його не створювала; ось у чому різниця.
5Запитання
- MLX швидший за llama.cpp?
- На Apple Silicon MLX часто такий самий швидкий або швидший під час генерації й особливо під час обробки запитів на чипах M5. Результати залежать від моделі й квантування, тож порівнюйте на своєму Mac.
- Чи може Ollama використовувати MLX?
- Так, у попередній версії, починаючи з Ollama 0.19 на Apple Silicon, для підтримуваних моделей, на Mac із пам’яттю понад 32 ГБ.
- Чи відрізняються моделі MLX і GGUF?
- Це різні формати файлів для тих самих видів моделей. Багато популярних моделей публікують в обох; в організації mlx-community на Hugging Face тисячі моделей, конвертованих у MLX.