你的 Mac 能跑什么?
选择你的 Mac 或任何其他机器,看看哪些开源 AI 模型装得进它的内存、能跑多快。数据来自每个模型的模型卡,以及每颗芯片公布的内存和带宽。
Apple M5,16 GB: 默认约 12 GB 可用于模型, 内存带宽 153 GB/s。 43 个热门模型中有 20 个能运行。 详情页 实测:在 llama.cpp 中以 4 位运行 Llama 2 7B,每秒 32 个 token (M5 (10-core GPU))。
智能评分:Artificial Analysis Intelligence Index v4.3.2,仅限已测模型。模型名称链接到官方模型卡。
计算方法
内存。 每个模型都按能装下的最高精度显示:每个权重 8、6、4、3 或 2 位,加上 MLX 的分组缩放(每个权重半位);如果模型以原生格式发布,则按原生格式计算。在 Mac 上,GPU 默认可使用约 75% 的统一内存;我们还在此之上为上下文留出了空间。
速度。 生成时每个 token 都要把所有激活权重读取一遍,因此内存带宽除以这些字节数就是单个对话的速度上限。在 llama.cpp 的 Apple Silicon 公开基准测试中,实际速度约为上限的 45% 到 80%,这里显示的就是这个范围。读取长提示词受算力限制,不在此显示。
来源。 参数量、上下文长度和许可证来自 Hugging Face 上各模型的官方模型卡(点击模型名称即可查看);内存和带宽来自 Apple 及各厂商的规格。核对日期:2026-10-19。你可以用 MLX Bench 实测自己的 Mac。所有 Mac、所有模型以及完整的适配表都可以免费下载 JSON 和 CSV:开放数据。
浏览。 所有 Mac,从 8 GB 的 M1 到 512 GB 的 M5 Ultra,以及每台能跑的模型;还有所有模型和各自所需的最低配置 Mac。
动手运行。 分步教程:在 Mac 上下载并运行大模型、MLX、Ollama 与 llama.cpp 对比以及最适合本地大模型的 Mac。Mac 闲置时,还能赚取 MLX Token。
- 怎么知道一个大模型能不能在我的 Mac 上运行?
- 把模型在你想要的精度下的大小,和 Mac 的统一内存比较一下。macOS 默认让 GPU 使用其中约 75%,模型还需要为上下文留出空间。4 位模型大约每十亿参数需要略多于 0.5 GB。
- 每秒能生成多少个 token?
- 生成速度受内存带宽限制:每个 token 都要把模型的激活权重读一遍。带宽除以每个 token 读取的字节数就是单个对话的上限,实际运行通常能达到其中约 45% 到 80%。
- 为什么混合专家(MoE)模型跑得更快?
- 它们在内存里放着很多专家,但每个 token 只用其中少数几个,所以每个 token 读取的字节要少得多。内存要装下整个模型,速度却和小得多的模型相当。
- 4 位量化够用吗?
- 对大多数模型来说,4 位能保持接近原版的质量。低于 4 位,质量下降会快得多,所以低于 4 位的版本都做了标记。