要点速览
- MLX 是 Apple 为 Apple 芯片打造的机器学习框架。mlx-lm 在它之上运行语言模型。
- llama.cpp 是一个快速的 C/C++ 推理引擎，几乎能在任何硬件上运行 GGUF 模型，在 Mac 上通过 Metal 运行。
- Ollama 是简单易用的前端：一条命令下载并运行模型，附带本地 API。在 Apple 芯片上，它现在有由 MLX 驱动的预览版。
- 要在 Mac 上获得原生的最快速度，用 MLX；要最多的模型和平台选择，用 llama.cpp；要最轻松上手，用 Ollama 或 LM Studio。
1它们各是什么
2在 Apple 芯片上的速度
生成文本时，三者受同一因素限制：内存带宽。差异来自各自对 GPU 的利用程度，以及模型的量化方式。
MLX 为 Apple 芯片的统一内存而写，在 M5 芯片上还会使用 GPU 的神经加速器：Apple 实测首个 token 的出现时间比 M4 快 3.3 到 4.1 倍（Apple）。2026 年 3 月，Ollama 开始在 Apple 芯片上转向 MLX，推出预览版，支持的模型速度大幅提升（Ollama），这很能说明 Mac 性能的走向。
llama.cpp 在 Mac 上依然很快，测试数据也很充分；它的公开基准测试讨论串是比较各款芯片的最佳参考（llama.cpp）。专门针对 MLX 的数据，请看 MLX Bench。
3该用哪一个
- 你今天就想和模型聊天： LM Studio（一个能运行 MLX 和 GGUF 模型的 App）或 Ollama。
- 你在开发需要本地 API 的 App： Ollama，或在 MLX 上用
mlx_lm.server提供兼容 OpenAI 的接口。 - 你想在 Mac 上榨出最快速度，或进行微调： MLX 搭配 mlx-lm。
- 你需要在 Mac、Linux 和 Windows 上使用同一套配置，或需要特定的 GGUF 量化： llama.cpp。
我们的在 Mac 上运行 LLM 分步指南涵盖了以上所有工具。
4一台 Mac 之外的 MLX
MLX 还能通过 Thunderbolt 5 和 RDMA 跨多台 Mac 运行（Mac AI 集群）。它也是 MLX Network 的引擎：MLX Node 基于 MLX 框架为网络运行 AI 任务，为通过验证的工作赚取 MLX 代币。MLX Network 是一个独立项目，并非 Apple 出品；区别在这里。
5常见问题
- MLX 比 llama.cpp 快吗？
- 在 Apple 芯片上，MLX 的生成速度往往持平或更快，在 M5 芯片上处理提示词时优势尤其明显。结果因模型和量化方式而异，请在你自己的 Mac 上比较。
- Ollama 能用 MLX 吗？
- 能。自 Ollama 0.19 起在 Apple 芯片上以预览形式提供，适用于受支持的模型，要求 Mac 内存大于 32 GB。
- MLX 模型和 GGUF 模型有区别吗？
- 它们是同类模型的不同文件格式。许多热门模型两种格式都有发布；Hugging Face 上的 mlx-community 组织提供了数千个 MLX 转换版本。