M6 能跑 70B 模型吗？

跑不从容。4 位的 70B 模型约需 40 GB，而 M6 最多只有 32 GB。约 42B 参数以内的模型可以流畅运行。

M6 每秒能生成多少 token？

以 4 位 8B 模型为例，上限约为每秒 38 token，实际运行大约能达到其一半到五分之四。模型越大，速度按比例越慢。

本地运行模型时，最关键的是内存和带宽。M6 最高 32 GB、170 GB/s，足以运行约 42B 参数以内的模型。它还可以通过 MLX Node 为 MLX Network 执行 AI 任务来赚取收益。

4 位量化时，每 10 亿参数需要略多于 0.5 GB 内存，还要为上下文和 macOS 留出空间。32 GB 的 M6 可以从容装下约 42B 参数以内的模型。

生成文本的速度受内存带宽限制：每生成一个新 token，都要把模型的激活权重读一遍。用 M6 的 170 GB/s 除以每个 token 读取的字节数，就得到下面的上限。实际运行通常能达到上限的 45% 到 80%（llama.cpp 基准测试）。

M5 代芯片在 GPU 中加入了神经加速器，读取提示词比 M4 快数倍：Apple 测得使用 MLX 时首个 token 的出现速度快 3.3 到 4.1 倍（Apple）。

M6 能跑 70B 模型吗？: 跑不从容。4 位的 70B 模型约需 40 GB，而 M6 最多只有 32 GB。约 42B 参数以内的模型可以流畅运行。
M6 每秒能生成多少 token？: 以 4 位 8B 模型为例，上限约为每秒 38 token，实际运行大约能达到其一半到五分之四。模型越大，速度按比例越慢。
M6 适合跑 AI 吗？: 本地运行模型时，最关键的是内存和带宽。M6 最高 32 GB、170 GB/s，足以运行约 42B 参数以内的模型。它还可以通过 MLX Node 为 MLX Network 执行 AI 任务来赚取收益。