登录创建钱包

96 GB 的 M3 Max 能运行什么？

73 个开放模型中有 38 个能在它上面流畅运行。默认情况下，GPU 可以使用 96 GB 中的约 72 GB；它的内存读取速度为 300 GB/s，这决定了生成速度。搭载于：MacBook Pro (14-inch, M3 Pro or M3 Max, Nov 2023), MacBook Pro (16-inch, Nov 2023)。

流畅运行中最聪明的Nemotron 3.5 Bolt 74B A9B6 位 · 60.1 GB · 18–33 tok/s流畅运行中最大的gpt-oss-120b原生 4.25 位 · 65.3 GB · 50–89 tok/s适合写代码Qwen3 Coder Next6 位 · 65 GB · 56–100 tok/s

流畅运行 43

装得下，还留有上下文空间，每秒 10 个 token 以上。

模型版本内存token/秒
Nemotron 3.5 Bolt 74B A9B74B · 激活 9B · 智能 21.46 位60.1 GB18–33
Qwen3.6 35B A3B35B · 激活 3B · 智能 18.28 位37.2 GB42–75
Nemotron 3.5 Lightning 30B A3B30B · 激活 3B · 智能 12.98 位31.9 GB42–75
MiniCPM5 2B2.52B · 智能 12.58 位2.7 GB50–89
gpt-oss-120b117B · 激活 5.1B · 智能 11.6原生 4.25 位65.3 GB50–89
Qwen3.5 9B9B · 智能 11.28 位9.6 GB14–25
Granite 4.2 8B8B · 智能 11.18 位8.5 GB16–28
Qwen3 Coder Next80B · 激活 3B · 智能 9.26 位65 GB56–100
Granite 4.2 3B3B · 智能 9.18 位3.2 GB42–75
gpt-oss-20b21B · 激活 3.6B · 智能 9原生 4.25 位13.8 GB71–126
Nemotron 3 Nano 30B A3B30B · 激活 3.5B · 智能 8.98 位31.9 GB36–65
Gemma 4 E4B8B · 智能 8.98 位8.5 GB28–50
Llama 4 Scout 17B-16E Instruct109B · 激活 17B · 智能 6.54 位61.3 GB14–25
Ministral 3 8B8.9B · 智能 5.58 位9.5 GB14–25
Nemotron 3 Nano 4B3.97B · 智能 4.88 位4.2 GB32–57
GLM-4.5 Air106B · 激活 12B4 位59.6 GB20–35
Qwen3 Coder 30B A3B Instruct30.5B · 激活 3.3B8 位32.4 GB39–69
GLM-4.7 Flash30B · 激活 3B8 位31.9 GB42–75
Gemma 4 26B A4B25.2B · 激活 3.8B8 位26.8 GB34–60
Devstral Small 2 (24B)24B4 位13.5 GB10–18
Magistral Small 1.2 (2509)24B4 位13.5 GB10–18
Mistral Small 3.2 (24B)24B4 位13.5 GB10–18
LFM2.5 24B A2B24B · 激活 2B8 位25.5 GB64–114
Phi-4 Reasoning Vision 15B15B6 位12.2 GB11–20
Phi-4 (14B)14B6 位11.4 GB12–21
Gemma 4 12B Unified12B8 位12.7 GB11–19
Qwen3 8B8.2B8 位8.7 GB16–28
Llama 3.1 8B Instruct8B8 位8.5 GB16–28
Gemma 4 E2B5.1B8 位5.4 GB56–100
Qwen3.5 4B4B8 位4.3 GB31–56
Phi-4 mini instruct3.8B8 位4 GB34–60
Llama 3.2 3B Instruct3.21B8 位3.4 GB40–71
SmolLM3 3B3B8 位3.2 GB42–75
LFM2.5 2.6B2.69B8 位2.9 GB47–83
Qwen3.5 2B2B8 位2.1 GB64–114
Llama 3.2 1B Instruct1.23B8 位1.3 GB104–185
Qwen3.5 0.8B0.8B8 位0.9 GB150–267
Qwen3 0.6B0.6B8 位0.6 GB225–400
Qwen3.8 Flash Next180B · 激活 6B · 智能 39.82 位 质量较低56.3 GB71–126
Qwen3.5 122B A10B122B · 激活 10B · 智能 15.63 位 质量较低53.4 GB31–55
Mistral Small 4 (119B)119B · 激活 6.5B · 智能 11.33 位 质量较低52.1 GB48–86
Ornith 1.5 122B122B · 激活 10B3 位 质量较低53.4 GB31–55
Nemotron 3 Super 120B A12B120B · 激活 12B3 位 质量较低52.5 GB25–45

能运行，但较慢 8

装得下，但每秒不到 10 个 token：适合批量任务，用来聊天会慢。

模型版本内存token/秒
Qwen3.8 27B27B · 智能 33.78 位28.7 GB5–8
Muse Glimmer 30B29.6B · 智能 17.58 位31.5 GB4–8
Gemma 4 31B30.7B · 智能 14.78 位32.6 GB4–7
Granite 4.2 30B30B · 智能 12.78 位31.9 GB4–8
Llama 3.3 70B Instruct70B6 位56.9 GB2–4
Qwen3.6 27B27B8 位28.7 GB5–8
Mistral Medium 3.5 (128B)128B · 智能 14.23 位 质量较低56 GB2–4
Devstral 2 (123B)123B3 位 质量较低53.8 GB3–4

勉强装得下 1

几乎占满内存：需要调高 GPU 内存上限，并保持较短的上下文。

模型版本内存token/秒
MiniMax M2.7230B · 激活 10B2 位 质量较低71.9 GB44–77

太大 21

所需内存超过 96 GB，即使是 2 位也不行。

其他 Mac

所有 96 GB 的 Mac，不限芯片。

内存更多或更少的 M3 Max：

相邻芯片：

正面对比：

与任意 Mac 或 GPU 对比 · 用 M3 Max 运行本地 AI · 运行本地 LLM 的最佳 Mac · 所有 Mac

常见问题

96 GB 的 M3 Max 最适合运行哪个 LLM？
在公布了 Intelligence Index 的模型中，Nemotron 3.5 Bolt 74B A9B 是在这台 Mac 上流畅运行的模型里得分最高的：6 位，每秒约 18–33 个 token。能流畅运行的最大模型是 gpt-oss-120b。
96 GB 的 M3 Max 能运行 Llama 3.3 70B 吗？
可以，但较慢：6 位，每秒约 2–4 个 token。
gpt-oss-20b 在 M3 Max 上有多快？
每秒约 71–126 个 token（原生 4.25 位），由芯片 300 GB/s 的内存带宽决定。

可以用 MLX Harness（免费、开源）运行，也可以在终端中使用 Apple 的 mlx-lm：分步指南。

计算方法

内存：模型参数按每个权重 8、6、4、3 或 2 位计算，加上 MLX 的分组缩放（每个权重半位），或按其原生格式计算，再留出上下文空间。macOS 默认允许 GPU 使用约 75% 的统一内存。速度：内存带宽除以每个 token 读取的字节数，就是单个对话的上限；在 llama.cpp 的 Apple Silicon 公开基准测试中，实际运行可达这个上限的约 45% 到 80%，本页显示的就是这个范围。这些是估算值，不是实测值：可以在 MLX Bench 上测量你自己的 Mac。模型数据来自各模型的官方模型卡，芯片数据来自 Apple 的技术规格。核对于 2026-10-19。数据与 mlx.app/compare 相同。

96 GB 的 M3 Max 能运行哪些 LLM？所有模型及速度