你的 Mac 能跑什么?

选择你的 Mac 或任何其他机器,看看哪些开源 AI 模型装得进它的内存、能跑多快。数据来自每个模型的模型卡,以及每颗芯片公布的内存和带宽。

Apple M5,16 GB: 默认约 12 GB 可用于模型, 内存带宽 153 GB/s。 43 个热门模型中有 20 个能运行。 详情页 实测:在 llama.cpp 中以 4 位运行 Llama 2 7B,每秒 32 个 token (M5 (10-core GPU))。

流畅运行 装得下,还留有上下文空间,每秒 10 个 token 以上。
Gemma 4 E4BGoogle DeepMind · 2026-03 · 128K 上下文 · 支持图像智能 8.9模型卡MLX 版本8B8 位8.5 GB 装得下14–26 tok/s
Qwen3.5 4BQwen (Alibaba) · 2026-02 · 256K 上下文 · 支持图像模型卡MLX 版本4B8 位4.3 GB 装得下16–28 tok/s
Llama 3.2 3B InstructMeta · 2024-09 · 128K 上下文模型卡MLX 版本3.21B8 位3.4 GB 装得下20–36 tok/s
SmolLM3 3BHugging Face · 2025-07 · 64K 上下文模型卡MLX 版本3B8 位3.2 GB 装得下22–38 tok/s
Qwen3.5 0.8BQwen (Alibaba) · 2026-02 · 256K 上下文 · 支持图像模型卡MLX 版本0.8B8 位0.9 GB 装得下77–136 tok/s
Nemotron 3.5 Lightning 30B A3BNVIDIA · 2026-08 · 256K 上下文智能 12.9模型卡MLX 版本30B · 激活 3B2 位 质量较低9.4 GB 装得下77–136 tok/s
gpt-oss-20bOpenAI · 2025-08 · 128K 上下文智能 9模型卡MLX 版本21B · 激活 3.6B3 位 质量较低9.2 GB 装得下43–77 tok/s
以原生低位格式发布:权重约 14 GB。
Qwen3 Coder 30B A3B InstructQwen (Alibaba) · 2025-07 · 256K 上下文模型卡MLX 版本30.5B · 激活 3.3B2 位 质量较低9.5 GB 装得下69–122 tok/s
GLM-4.7 FlashZ.ai (Zhipu) · 2026-01 · 198K 上下文模型卡MLX 版本30B · 激活 3B2 位 质量较低9.4 GB 装得下77–136 tok/s
Gemma 4 26B A4BGoogle DeepMind · 2026-03 · 256K 上下文 · 支持图像模型卡MLX 版本25.2B · 激活 3.8B2 位 质量较低7.9 GB 装得下57–102 tok/s
LFM2.5 24B A2BLiquid AI · 2026-10 · 128K 上下文模型卡MLX 版本24B · 激活 2B3 位 质量较低10.5 GB 装得下77–136 tok/s
能运行,但较慢 装得下,但每秒不到 10 个 token:适合批量任务,用来聊天会慢。
Qwen3.5 9BQwen (Alibaba) · 2026-02 · 256K 上下文 · 支持图像智能 11.2模型卡MLX 版本9B8 位9.6 GB 装得下7–13 tok/s
Granite 4.2 8BIBM · 2026-08 · 128K 上下文智能 11.1模型卡8B8 位8.5 GB 装得下8–14 tok/s
Phi-4 (14B)Microsoft · 2024-12 · 16K 上下文模型卡MLX 版本14B4 位7.9 GB 装得下9–15 tok/s
Gemma 4 12B UnifiedGoogle DeepMind · 2026-05 · 256K 上下文 · 支持图像模型卡MLX 版本12B6 位9.7 GB 装得下7–13 tok/s
Llama 3.1 8B InstructMeta · 2024-07 · 128K 上下文模型卡MLX 版本8B8 位8.5 GB 装得下8–14 tok/s
Qwen3.8 27BQwen (Alibaba) · 2026-08 · 256K 上下文 · 支持图像智能 33.7模型卡MLX 版本27B2 位 质量较低8.4 GB 装得下8–15 tok/s
Muse Glimmer 30BMeta (Meta Superintelligence Lab) · 2026-08 · 128K 上下文 · 支持图像智能 17.5模型卡MLX 版本29.6B2 位 质量较低9.3 GB 装得下7–13 tok/s
Gemma 4 31BGoogle DeepMind · 2026-03 · 256K 上下文 · 支持图像智能 14.7模型卡MLX 版本30.7B2 位 质量较低9.6 GB 装得下7–13 tok/s
Devstral Small 2 (24B)Mistral AI · 2025-11 · 256K 上下文 · 支持图像模型卡MLX 版本24B3 位 质量较低10.5 GB 装得下7–12 tok/s
勉强装得下 几乎占满内存:需要调高 GPU 内存上限,并保持较短的上下文。
Qwen3.6 35B A3BQwen (Alibaba) · 2026-04 · 256K 上下文 · 支持图像智能 18.2模型卡MLX 版本35B · 激活 3B2 位 质量较低10.9 GB 勉强77–136 tok/s

智能评分:Artificial Analysis Intelligence Index v4.3.2,仅限已测模型。模型名称链接到官方模型卡。

计算方法

内存。 每个模型都按能装下的最高精度显示:每个权重 8、6、4、3 或 2 位,加上 MLX 的分组缩放(每个权重半位);如果模型以原生格式发布,则按原生格式计算。在 Mac 上,GPU 默认可使用约 75% 的统一内存;我们还在此之上为上下文留出了空间。

速度。 生成时每个 token 都要把所有激活权重读取一遍,因此内存带宽除以这些字节数就是单个对话的速度上限。在 llama.cpp 的 Apple Silicon 公开基准测试中,实际速度约为上限的 45% 到 80%,这里显示的就是这个范围。读取长提示词受算力限制,不在此显示。

来源。 参数量、上下文长度和许可证来自 Hugging Face 上各模型的官方模型卡(点击模型名称即可查看);内存和带宽来自 Apple 及各厂商的规格。核对日期:2026-10-19。你可以用 MLX Bench 实测自己的 Mac。所有 Mac、所有模型以及完整的适配表都可以免费下载 JSON 和 CSV:开放数据。

浏览。 所有 Mac,从 8 GB 的 M1 到 512 GB 的 M5 Ultra,以及每台能跑的模型;还有所有模型和各自所需的最低配置 Mac。

动手运行。 分步教程:在 Mac 上下载并运行大模型、MLX、Ollama 与 llama.cpp 对比以及最适合本地大模型的 Mac。Mac 闲置时,还能赚取 MLX Token。

怎么知道一个大模型能不能在我的 Mac 上运行?
把模型在你想要的精度下的大小,和 Mac 的统一内存比较一下。macOS 默认让 GPU 使用其中约 75%,模型还需要为上下文留出空间。4 位模型大约每十亿参数需要略多于 0.5 GB。
每秒能生成多少个 token?
生成速度受内存带宽限制:每个 token 都要把模型的激活权重读一遍。带宽除以每个 token 读取的字节数就是单个对话的上限,实际运行通常能达到其中约 45% 到 80%。
为什么混合专家(MoE)模型跑得更快?
它们在内存里放着很多专家,但每个 token 只用其中少数几个,所以每个 token 读取的字节要少得多。内存要装下整个模型,速度却和小得多的模型相当。
4 位量化够用吗?
对大多数模型来说,4 位能保持接近原版的质量。低于 4 位,质量下降会快得多,所以低于 4 位的版本都做了标记。