在 Mac 上运行大模型。

1你的 Mac 能装下什么

模型权重必须装进内存，还要给上下文和 macOS 留出余量。按每个权重 4 bit 计算，每 10 亿参数约需 0.55 到 0.6 GB。

速度是另一回事：每生成一个新 token，都要把激活的权重从内存中读一遍，所以每秒 token 数与内存带宽成正比。我们的本地 LLM 最佳 Mac 指南涵盖了每款芯片。

2最简单的方式：LM Studio

LM Studio 是一款免费的 Mac App，带聊天窗口和模型浏览器。在 Apple 芯片上，它既能运行 Apple 的 MLX 格式模型，也能运行 llama.cpp 使用的 GGUF 格式模型。

1. 下载并打开 LM Studio。
2. 搜索模型，在 Apple 芯片上优先选择 MLX 版本，并挑选内存装得下的规模。
3. 加载模型，开始聊天。你还可以开启它的本地服务器，供其他 App 调用。

3一条命令：Ollama

Ollama 在终端中运行模型，并把模型提供给 Mac 上的其他 App。安装后，一条命令即可下载并启动模型：

ollama run llama3.2

从 0.19 版起，Ollama 在 Apple 芯片上提供由 Apple MLX 框架驱动的预览版，支持的模型速度大幅提升；该预览版要求 Mac 内存大于 32 GB（Ollama）。

4最快的方式：Apple 的 MLX 与 mlx-lm

MLX 是 Apple 为 Apple 芯片打造的开源机器学习框架，mlx-lm 是它的语言模型软件包。Hugging Face 上的 mlx-community 组织提供了数千个可直接使用的模型。

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

用 mlx_lm.chat 在终端里对话，用 mlx_lm.server 启动一个供其他 App 调用的本地 API。在 M5 芯片上，MLX 会使用 GPU 中新增的神经加速器：Apple 实测首个 token 的出现速度比 M4 快 3.3 到 4.1 倍（Apple Machine Learning Research）。

5测一测，再让它干活

MLX Bench 是一个开放排行榜，记录 MLX 在每款 Apple 芯片上的速度：生成和提示词处理的每秒 token 数，以及峰值内存。在你的 Mac 上运行这个单文件脚本，看看排在哪里。

你不用 Mac 的时候，它可以为别人运行 AI。MLX Node 是一款免费 App，基于同一个 MLX 框架为 MLX Network 运行 AI 任务，为通过验证的工作赚取 MLX 代币，一切都在你设定的上限之内。

6常见问题

MacBook Air 能跑大模型吗？

能。16 GB 的 MacBook Air 可以流畅运行 4-bit 的 7B 到 14B 模型；32 GB 则可运行约 30B 以内的模型。它会比搭载 Pro 或 Max 芯片的 Mac 慢，因为后者的内存带宽更高。

在 Mac 上 MLX 比 Ollama 快吗？

通常是，因为 MLX 是为 Apple 芯片编写的。Ollama 自己由 MLX 驱动的预览版也报告了在 Apple 芯片上的大幅提速。我们的 MLX 与 Ollama 对比指南有详细比较。

本地模型能离线使用吗？

能。模型下载后完全在你的 Mac 上运行，你的提示词从不离开这台 Mac。

70B 模型需要多少内存？

4-bit 下权重约需 40 GB，所以需要 64 GB 或以上内存的 Mac。质量相近的混合专家模型可能需要更多内存，但运行更快。