在 Mac 上运行大模型的最佳应用。

1一览

2逐个简要介绍

MLX Harness

一款免费、开源的 Mac App，可用于聊天、带内置工具的编程智能体、图像生成，以及支持 OpenAI、Anthropic 和 Ollama 格式的本地 API。它用 Apple 的 MLX 运行模型，从 Hugging Face 下载模型；它不运行 GGUF 文件。它需要搭载 Apple 芯片、运行 macOS 14.5 或更高版本的 Mac。它是我们的产品，基于 JANGQ AI 的 vMLX 构建，并内置 MLX Node，可以在你离开时让这台 Mac 为 MLX Network 工作（来源）。教程：如何使用 MLX Harness。

LM Studio

一款精致的 App，可同时运行 MLX 和 GGUF 模型，并提供基于 Hugging Face 的模型搜索（LM Studio）。自 2025 年 7 月起，它在家和工作中都可免费使用（LM Studio）。它的命令行工具、SDK 和 MLX 引擎采用 MIT 许可证；桌面 App 的源代码没有公开（GitHub）。它需要搭载 Apple 芯片、运行 macOS 14 或更高版本的 Mac，建议配备 16 GB 内存（系统要求）。它的本地服务器支持 OpenAI 格式，并从 0.4.1 版起支持 Anthropic 格式（更新日志）。

Ollama

一条命令就能运行模型，有自己的模型库，并从 2025 年 7 月起在 Mac 上提供聊天 App（Ollama）。它采用 MIT 许可证，通过 llama.cpp 运行 GGUF 模型（GitHub）。从 2026 年 3 月起，它在 Apple 芯片上有预览版的 MLX 引擎，适用于内存超过 32 GB 的 Mac，支持的模型也在不断增加（Ollama）。它需要 macOS 14 或更高版本（文档），它在 11434 端口上的 API 正是许多其他 App 所预期的接口。

Jan

一款开源（Apache 2.0）聊天 App，支持 Mac、Windows 和 Linux，内置 llama.cpp 引擎，从 2026 年 2 月起原生支持 MLX，并提供 MCP 工具和兼容 OpenAI 的服务器（GitHub、更新日志）。如果你想用一个 App 同时搞定本地和云端，它也能连接云端模型。

llama.cpp

大量本地 AI 背后的引擎：采用 MIT 许可证的 C/C++ 代码，通过 Metal 把 Apple 芯片当作“一等公民”（GitHub）。用 brew install llama.cpp 安装；llama-server 提供网页聊天界面，以及兼容 OpenAI 和 Anthropic 的 API（服务器文档）。它运行 GGUF 文件，这是发布最广泛的格式。

mlx-lm

Apple 自己为语言模型打造的 MLX 工具，采用 MIT 许可证：在命令行中生成文本、聊天、转换和量化模型，并用 LoRA 微调模型（GitHub）。mlx_lm.server 提供一个基础的 OpenAI 风格端点，其作者不建议用于生产环境（服务器文档）。Hugging Face 上的 mlx-community 组织里有数千个已转换的模型。

3该选哪一个

• 想要一款开源、专为 Apple 芯片打造的 App：MLX Harness。
• 想在一款精致的 App 里同时使用 MLX 和 GGUF 模型，且不介意闭源：LM Studio。
• 其他 App 或编程智能体需要 Ollama API：Ollama（MLX Harness 也提供 Ollama 风格的端点）。
• 想在 Mac、Windows 和 Linux 上用同一个聊天 App，本地和云端兼顾：Jan。
• 你写脚本、搭建服务器，或需要特定的 GGUF 量化版本：llama.cpp。
• 你要微调、转换模型，或想用 Apple 的参考实现：mlx-lm。

很多人会同时用两个：一个 App 用于日常聊天，一个命令行工具用于脚本。它们可以装在同一台 Mac 上，但各自保存一份模型文件。

4先看看你的 Mac 能装下什么

换哪个 App，这笔账都不会变：模型及其上下文必须装进 macOS 允许 GPU 使用的那部分统一内存，默认约为 75%；而内存带宽决定它生成文字的速度。同一个模型在相同精度下，MLX 文件和 GGUF 文件的大小大致相同。

查看你的 Mac 能装下的所有模型、各内存容量的最佳模型，或者从某个模型出发，看看它需要哪款 Mac。

5当 Mac 闲置时

能流畅运行本地 AI 的 Mac，也很适合为别人运行 AI。MLX Node 会在你不用 Mac 时，在你设定的上限内为 MLX Network 执行 AI 任务，并为经过验证的工作赚取 MLX 代币。MLX Harness 内置了它。MLX 代币可能贬值；请阅读风险提示。

6常见问题

LM Studio 在工作中使用免费吗？

免费。自 2025 年 7 月起，LM Studio 在家和工作中都可免费使用；付费方案面向团队和企业（LM Studio）。

Ollama 在 Mac 上使用 MLX 吗？

自 2026 年 3 月起以预览版提供，适用于内存超过 32 GB 的 Apple 芯片 Mac，仅限支持的模型。其他情况下，它通过 llama.cpp 运行 GGUF 模型（Ollama）。

哪个 App 能同时运行 MLX 和 GGUF 模型？

LM Studio 和 Jan 两种都能运行；Ollama 运行 GGUF，并以预览版运行 MLX。MLX Harness 和 mlx-lm 只运行 MLX；llama.cpp 只运行 GGUF。

哪些本地大模型 App 是开源的？

MLX Harness（Apache 2.0）、Ollama（MIT）、Jan（Apache 2.0）、llama.cpp（MIT）和 mlx-lm（MIT）。LM Studio 以 MIT 许可证公开了命令行工具、SDK 和 MLX 引擎，但没有公开桌面 App。