要点速览
- 内存决定能装下哪些模型。尽量买大,之后无法升级。
- 内存带宽决定每秒能生成多少 token。Max 和 Ultra 芯片的带宽是同代基础芯片的三到十二倍。
- 对大多数人最划算:搭载 Pro 芯片、64 GB 内存的 Mac mini 或 MacBook Pro。要跑最大的模型:搭载 Max 或 Ultra 的 Mac Studio。
- 购买前,先在 MLX Bench 上查看实测数据。
1为什么内存和带宽决定一切
语言模型一次写一个 token,每写一个都要从内存中读取全部激活权重。所以单个对话的速度上限,大致等于内存带宽除以激活权重的大小。在 llama.cpp 的公开基准测试中,Apple 芯片的实际生成速度能达到这一上限的 43% 到 80%(llama.cpp)。
读取提示词则不同:这部分受限于算力,所以 GPU 中带有神经加速器的 M5 代芯片,处理提示词的速度比前几代快数倍(Apple)。
2每款芯片对比
| 芯片 | 最大内存 | 带宽 | 搭载机型 |
|---|---|---|---|
| M5 | 32 GB | 153 GB/s | MacBook Air、14 英寸 MacBook Pro |
| M6 | 32 GB | 170 GB/s | Mac mini |
| M4 Pro | 64 GB | 273 GB/s | Mac mini、MacBook Pro |
| M5 Pro | 64 GB | 307 GB/s | MacBook Pro、Mac mini |
| M4 Max | 128 GB | 546 GB/s | MacBook Pro、Mac Studio |
| M5 Max | 128 GB | 614 GB/s | MacBook Pro、Mac Studio |
| M3 Ultra | 512 GB | 819 GB/s | Mac Studio(2025) |
| M5 Ultra | 512 GB | 1.2 TB/s | Mac Studio(2026) |
只要内存够,旧芯片依然好用。64 GB 的 M1 Max 或 M2 Max 带宽为 400 GB/s,高于如今任何一款基础芯片,二手价格往往也便宜得多。
3该买哪款 Mac
只是试试:16 到 32 GB 的 MacBook Air 或 Mac mini
可流畅运行 7B 到 14B 模型,32 GB 时可运行 30B 级模型。用于聊天、写作和轻度编程辅助绰绰有余。
最具性价比:Pro 芯片配 64 GB
搭载 M4 Pro 或 M5 Pro 的 Mac mini 或 MacBook Pro 能装下 70B 级模型,运行中等规模模型速度也不错。是大多数开发者的最佳选择。
认真玩本地 AI:Max 芯片配 128 GB
能在笔记本上运行 gpt-oss-120b(4-bit 下约 65 GB);按 Apple 公布的带宽计算,M5 Max 单路生成的理论上限约为每秒 225 个 token。便携设备中的最佳选择。
最大的模型:搭载 Ultra 的 Mac Studio
M5 Ultra 最高 512 GB 内存、1.2 TB/s 带宽,一张桌上就能装下数千亿参数的模型。更大的模型,可以用 Thunderbolt 5 把多台 Mac 连成集群:见 Mac AI 集群。
4让闲置的 Mac 也有产出
为 AI 买的 Mac,大部分时间都在等待。MLX Node 是一款免费 App,把这些闲置算力借给 MLX Network,基于同一个 MLX 框架运行 AI 任务,为通过验证的工作赚取 MLX 代币。与芯片匹配的专属席位会让收益成倍增加:Pro 席位在 Pro 或 Max 芯片上全速运行,Ultra 席位在 Ultra 芯片上全速运行。
先在 MLX Bench 上比较你的 Mac:它显示开源模型在每款芯片上实测的每秒 token 数。
5常见问题
- 16 GB 够跑本地大模型吗?
- 4-bit 下约 14B 参数以内的模型够用。更大的模型或更长的上下文,32 GB 或以上会舒服得多。
- 跑 LLM 选 Mac Studio 还是 MacBook Pro?
- 两者都有 Max 芯片可选,最高 128 GB。MacBook Pro 便于携带;Mac Studio 长时间负载下更凉爽,也是唯一提供 Ultra 芯片和最高 512 GB 内存的 Mac。
- 本地 AI 用 Mac 比 Nvidia 显卡更好吗?
- 在家运行最大的模型,往往是的:Mac 的统一内存容量远超消费级显卡的显存。对于显存装得下的模型,高端 Nvidia 显卡更快。
- M5 能让大模型更快吗?
- 能,主要体现在读取提示词上:Apple 用 MLX 实测,M5 上首个 token 的出现速度比 M4 快 3.3 到 4.1 倍。生成速度随内存带宽提升,而从 M4 到 M5 带宽提高了 28%。
来源
- llama.cppgithub.com
- Applemachinelearning.apple.com
- M4 Pro 和 M4 Maxapple.com
- M5apple.com
- M5 Pro 和 M5 Maxapple.com
- M6 和 M5 Ultraapple.com
- M3 Ultrasupport.apple.com