为本地 AI 而生的 M2 Pro。

M2 Pro 最高配备 32 GB 统一内存,读取速度最高 200 GB/s。下面根据 Apple 官方数据,算一算用搭载它的 Mac 跑语言模型意味着什么。

1对 AI 重要的规格

统一内存32 GB
内存带宽200 GB/s
搭载机型14- and 16-inch MacBook Pro (2023), Mac mini (2023)
适合它的专属席位Pro 席位:每天最多挖 80 MLX

2能跑哪些模型

4 位量化时,每 10 亿参数需要略多于 0.5 GB 内存,还要为上下文和 macOS 留出空间。32 GB 的 M2 Pro 可以从容装下约 42B 参数以内的模型。

4 位模型所需内存M2 Pro 能否运行
8B 模型4.5 GB能
14B 模型7.9 GB能
32B 模型18 GB能
70B 模型39.4 GB不能
gpt-oss-120b,混合专家65 GB不能
Qwen3.5-397B-A17B,混合专家223.3 GB不能
DeepSeek-V4.1-Flash,混合专家316 GB不能

3跑得多快

生成文本的速度受内存带宽限制:每生成一个新 token,都要把模型的激活权重读一遍。用 M2 Pro 的 200 GB/s 除以每个 token 读取的字节数,就得到下面的上限。实际运行通常能达到上限的 45% 到 80%(llama.cpp 基准测试)。

4 位模型每 token 读取量单个对话上限
8B 模型4.5 GB每秒 44 token
14B 模型7.9 GB每秒 25 token
32B 模型18 GB每秒 11 token

5与其他芯片对比

6常见问题

M2 Pro 能跑 70B 模型吗?
跑不从容。4 位的 70B 模型约需 40 GB,而 M2 Pro 最多只有 32 GB。约 42B 参数以内的模型可以流畅运行。
M2 Pro 每秒能生成多少 token?
以 4 位 8B 模型为例,上限约为每秒 44 token,实际运行大约能达到其一半到五分之四。模型越大,速度按比例越慢。
M2 Pro 适合跑 AI 吗?
本地运行模型时,最关键的是内存和带宽。M2 Pro 最高 32 GB、200 GB/s,足以运行约 42B 参数以内的模型。它还可以通过 MLX Node 为 MLX Network 执行 AI 任务来赚取收益。

来源

  1. Apple: M2 Pro and M2 Maxapple.com
  2. llama.cpp: Apple Silicon benchmarksgithub.com
M2 Pro 本地大模型:内存、速度与能跑的模型 | MLX