要点速览
- Mac mini 最高 64 GB(M5 Pro),Mac Studio 配 M5 Max 最高 128 GB,配 M5 Ultra 最高 512 GB(Apple、Apple)。
- 带宽决定生成速度:M6 Mac mini 为 153–170 GB/s,M5 Pro 为 307 GB/s,M5 Max 最高 614 GB/s,M5 Ultra 为 1,200 GB/s。
- 4-bit 下约 30B 参数以内的模型:M5 Pro 的 Mac mini 就够了。70B 级模型、gpt-oss-120b 或长上下文:选 128 GB 的 Mac Studio。最大的开放模型:选 M5 Ultra 的 Mac Studio。
- 内存之后无法升级,所以要按明年想跑的模型来选,而不只是今天。
1对 AI 重要的规格
| Mac | 内存选项 | 内存带宽 | 4-bit 最大模型 | 功耗(待机到最大) |
|---|---|---|---|---|
| Mac mini,M6 | 16、24 或 32 GB | 153–170 GB/s | 约 21B 到 42B | 4–70 W |
| Mac mini,M5 Pro | 24、48 或 64 GB | 307 GB/s | 约 32B 到 85B | 6–145 W |
| Mac Studio,M5 Max | 36、48、64 或 128 GB | 460–614 GB/s | 约 48B 到 170B | 7–200 W |
| Mac Studio,M5 Ultra | 96、256 或 512 GB | 1,200 GB/s | 约 128B 到 682B | 9–385 W |
每种配置都链接到能在其上流畅运行的模型。较早的机型同理:M4 或 M4 Pro 的 Mac mini,以及 M4 Max 或 M3 Ultra 的 Mac Studio(所有 Mac 排行)。
2各自生成有多快
生成文字时,每个 token 都要把模型的激活权重读一遍,所以内存带宽决定了速度上限。以 4-bit 的 32B 稠密模型(约 18 GB)为例:
| Mac | 单路对话速度上限 | 能装下吗? |
|---|---|---|
| Mac mini,M6(32 GB) | 约 9 tokens/s | 能 |
| Mac mini,M5 Pro(48 或 64 GB) | 约 17 tokens/s | 能 |
| Mac Studio,M5 Max(48 GB 或以上) | 约 34 tokens/s | 能 |
| Mac Studio,M5 Ultra | 约 67 tokens/s | 能 |
混合专家模型每个 token 只读取一小部分权重,所以生成速度远快于其规模给人的印象:内存决定能否装下,速度仍由带宽决定。读取长提示词则取决于 GPU 算力而非带宽,在这方面 Max 和 Ultra 芯片更大的 GPU 优势更明显。
3哪一款适合哪些模型
- 中小模型(4-bit 下约 30B 以内)、聊天、编程助手、家用 AI 服务器:选 M5 Pro 的 Mac mini,配 48 或 64 GB。32 GB 的 M6 Mac mini 能运行同样大小的模型,速度约为一半。
- 70B 级模型、gpt-oss-120b、长上下文或同时运行多个模型:选 M5 Max 的 Mac Studio,配 128 GB。OpenAI 官方的 gpt-oss-120b 文件约 65 GB(OpenAI),超出任何 Mac mini 能分给 GPU 的内存。
- 最大的开放模型(数千亿参数):选 M5 Ultra 的 Mac Studio,配 256 或 512 GB,或者把多台 Mac 连在一起(Mac AI 集群)。
想看某个具体模型,它的页面会给出能运行它的最低配置 Mac,以及在每种芯片上的速度:每个开放模型。
4全天候运行
两者都是安静、高效的常开机器。按上面 Apple 的数据,Mac mini 待机 4–6 W,Mac Studio 7–9 W;满载时 M5 Ultra 的 Mac Studio 最高可达 385 W。用 Mac mini 搭建本地 AI 服务器介绍如何保持唤醒并向其他设备提供模型,Mac 的耗电量介绍一天要花多少电费。
闲置时,MLX Node 可以为 MLX Network 运行 AI 任务,赚取 MLX 代币。与芯片匹配的专属席位挖得更快:M6 对应 Core,M5 Pro 和 M5 Max 对应 Pro,M5 Ultra 对应 Ultra。收益没有保证:请阅读风险说明。
5常见问题
- 跑 AI 的话,Mac Studio 比 Mac mini 值得吗?
- 如果你想运行约 85B 参数以上的模型、gpt-oss-120b 或长上下文,值得:只有 Mac Studio 的内存超过 64 GB。4-bit 下约 30B 以内的模型,M5 Pro 的 Mac mini 就能运行,带宽约为 M5 Max 的一半。
- Mac mini 能跑 70B 模型吗?
- 只有 64 GB 的 M5 Pro 可以,需用 4-bit 和较短的上下文:约 39 GB 的权重放进 GPU 默认可用的 48 GB 中,每秒只有几个 token。128 GB 的 Mac Studio 运行它时还有余量留给上下文,速度约快一倍。
- 跑大模型选 Mac Studio M5 Max 还是 M5 Ultra?
- M5 Ultra 的带宽约为两倍(1,200 对 614 GB/s),所以生成速度约快一倍,内存最高 512 GB。128 GB 的 M5 Max 可运行 4-bit 下约 170B 以内的模型。见 M5 Max 对比 M5 Ultra。
- 跑 AI 选 Mac mini M6 还是 M5 Pro?
- 选 M5 Pro:它读取内存比 24 或 32 GB 的 M6 快约 80%,内存最高 64 GB,而不是 32 GB。
来源
- Applesupport.apple.com
- Applesupport.apple.com
- Mac minisupport.apple.com
- Mac Studiosupport.apple.com
- llama.cpp 基准测试github.com
- OpenAIhuggingface.co