各种精度所需内存
| 版本 | 权重 | 含上下文 | 最低配置 Mac |
|---|---|---|---|
| 8 位 | 42.3 GB | 45.7 GB | 64 GB |
| 6 位 | 32.3 GB | 34.9 GB | 48 GB |
| 4 位 | 22.4 GB | 24.2 GB | 36 GB |
| 3 位 质量较低 | 17.4 GB | 18.9 GB | 32 GB |
| 2 位 质量较低 | 12.4 GB | 13.9 GB | 24 GB |
在每款 Apple 芯片上
每款芯片能运行 Recursive Flint 的最小内存容量、装得下的最佳版本,以及预计的生成速度。
| 芯片 | 需要 | 版本 | token/秒 |
|---|---|---|---|
| M6 | 24 GB | 2 位 流畅运行 | 96–170 |
| M5 Ultra | 96 GB | 8 位 流畅运行 | 200–356 |
| M5 Max | 36 GB | 4 位 流畅运行 | 148–263 |
| M5 Pro | 48 GB | 6 位 流畅运行 | 69–123 |
| M5 | 24 GB | 2 位 流畅运行 | 86–153 |
| M4 Max | 36 GB | 4 位 流畅运行 | 132–234 |
| M4 Pro | 48 GB | 6 位 流畅运行 | 61–109 |
| M4 | 24 GB | 2 位 流畅运行 | 68–120 |
| M3 Ultra | 96 GB | 8 位 流畅运行 | 137–243 |
| M3 Max | 36 GB | 4 位 流畅运行 | 96–171 |
| M3 Pro | 36 GB | 4 位 流畅运行 | 48–86 |
| M3 | 24 GB | 2 位 流畅运行 | 56–100 |
| M2 Ultra | 64 GB | 8 位 流畅运行 | 133–237 |
| M2 Max | 64 GB | 8 位 流畅运行 | 67–119 |
| M2 Pro | 32 GB | 3 位 流畅运行 | 82–145 |
| M2 | 24 GB | 2 位 流畅运行 | 56–100 |
| M1 Ultra | 64 GB | 8 位 流畅运行 | 133–237 |
| M1 Max | 64 GB | 8 位 流畅运行 | 67–119 |
| M1 Pro | 32 GB | 3 位 流畅运行 | 82–145 |
| M1 | 16 GB | 2 位 勉强 | 38–68 |
他人实测
其他人在自己的 Mac 上实测并公开发布的 Recursive Flint 生成速度。这些是第三方测量,不是我们测的,也不是上面的估算。
| Mac | 运行时 | 精度 | 解码 tok/s | 来源 |
|---|---|---|---|---|
| Mac Studio M3 Ultra | Ollama (MLX engine) | INT4 (QAT) | 107 | Alec Kloss @aleckloss |
| Mac Studio M3 Ultra | mlx-lm (PR #1998) | INT4 (QAT) | 104.5 | Alec Kloss @aleckloss |
| Mac Studio M3 Ultra | mlx-vlm | BF16 | 51.3上下文 1K 时 | Prince Canuma @Prince_Canuma |
| Mac Studio M3 Ultra | mlx-vlm | BF16 | 33上下文 128K 时 | Prince Canuma @Prince_Canuma |
| Mac mini M5 Pro 64 GB | Ollama | 4-bit | 115 | Pratik Gandhi @pratikg |
| Mac mini M5 Pro 64 GB | Ollama | 4-bit | 87上下文 20K 时 | Pratik Gandhi @pratikg |
结果因运行时和设置而异:版本、精度、上下文长度、提示词以及是否开启推理都会改变速度。
如何运行
- 在终端中使用开发者自己的引擎 Rec:
curl -fsSL https://raw.githubusercontent.com/recursive-oss/rec/main/install.sh | bashrec launch pi要求:M4 Pro, M5 Pro or M5 Max · at least 48 GB unified memory · about 30 GB free disk · Node.js 22 and npm (for pi)版本:Hugging Face 上的 RecursiveSI/flint-int4。其他精度的版本就在旁边。
分步指南:在 Mac 上下载并运行 LLM · 如何使用 MLX Harness · MLX、Ollama 与 llama.cpp 对比
关于 Recursive Flint
| 开发者 | Recursive |
|---|---|
| 参数 | 共 39.8B · 激活 2.5B(混合专家) |
| 上下文 | 256K token |
| 许可证 | Apache-2.0 |
| 发布时间 | 2026-10 |
| 输入 | 文本 |
| 权重 | RecursiveSI/flint |
常见问题
- Recursive Flint 需要多少内存?
- 在 4 位 下权重约 22.4 GB,再加上上下文空间,总共 24.2 GB。在 Mac 上,这意味着需要 36 GB 或以上的统一内存,因为 macOS 默认允许 GPU 使用约 75% 的统一内存。 Recursive 自己的引擎 Rec 需要配备至少 48 GB 统一内存的 M4 Pro、M5 Pro或M5 Max(开发者要求)。
- Recursive Flint 在 Mac 上有多快?
- 生成速度取决于内存带宽。本页中运行它最快的 Mac 是 96 GB 的 M5 Ultra,每秒约 200–356 个 token(8 位)。能运行它的最低配置 Mac 是 36 GB 的 M5 Max,每秒约 148–263 个。
- 为什么 Recursive Flint 运行起来比它的规模显示的更快?
- 它是混合专家模型:内存中保存 39.8B 参数,但每个 token 只读取 2.5B,所以生成速度相当于小得多的模型。
类似模型
用于你的模型卡或 README
显示能流畅运行 Recursive Flint 的最低配置 Mac,并链接到本页。
[](https://mlx.app/run/flint)计算方法
内存:模型参数按每个权重 8、6、4、3 或 2 位计算,加上 MLX 的分组缩放(每个权重半位),或按其原生格式计算,再留出上下文空间。macOS 默认允许 GPU 使用约 75% 的统一内存。速度:内存带宽除以每个 token 读取的字节数,就是单个对话的上限;在 llama.cpp 的 Apple Silicon 公开基准测试中,实际运行可达这个上限的约 45% 到 80%,本页显示的就是这个范围。这些是估算值,不是实测值:可以在 MLX Bench 上测量你自己的 Mac。模型数据来自各模型的官方模型卡,芯片数据来自 Apple 的技术规格。核对于 2026-10-19。数据与 mlx.app/compare 相同。
开放数据: mlx.app/data (JSON, CSV)