Mac 能运行 Recursive Flint 吗?

可以,需要 36 GB 或以上的统一内存。Recursive Flint 有 39.8B 参数,每个 token 激活其中 2.5B;下面是它在各种精度下所需的内存,以及每款 Apple 芯片运行它的速度。 Recursive 自己的引擎 Rec 需要配备至少 48 GB 统一内存的 M4 Pro、M5 Pro或M5 Max(开发者要求)。 本页的内存和速度数字是针对通用 MLX 版本的估算。

更新于

4 位 所需内存24.2 GB权重 22.4 GB + 上下文
最低配置 Mac36 GB4 位,估算 · Rec 需要 48 GB
最快的 Mac200–356token/秒 · M5 Ultra 96 GB(估算)

各种精度所需内存

版本权重含上下文最低配置 Mac
8 位42.3 GB45.7 GB64 GB
6 位32.3 GB34.9 GB48 GB
4 位22.4 GB24.2 GB36 GB
3 位 质量较低17.4 GB18.9 GB32 GB
2 位 质量较低12.4 GB13.9 GB24 GB

在每款 Apple 芯片上

每款芯片能运行 Recursive Flint 的最小内存容量、装得下的最佳版本,以及预计的生成速度。

芯片需要版本token/秒
M624 GB2 位 流畅运行96–170
M5 Ultra96 GB8 位 流畅运行200–356
M5 Max36 GB4 位 流畅运行148–263
M5 Pro48 GB6 位 流畅运行69–123
M524 GB2 位 流畅运行86–153
M4 Max36 GB4 位 流畅运行132–234
M4 Pro48 GB6 位 流畅运行61–109
M424 GB2 位 流畅运行68–120
M3 Ultra96 GB8 位 流畅运行137–243
M3 Max36 GB4 位 流畅运行96–171
M3 Pro36 GB4 位 流畅运行48–86
M324 GB2 位 流畅运行56–100
M2 Ultra64 GB8 位 流畅运行133–237
M2 Max64 GB8 位 流畅运行67–119
M2 Pro32 GB3 位 流畅运行82–145
M224 GB2 位 流畅运行56–100
M1 Ultra64 GB8 位 流畅运行133–237
M1 Max64 GB8 位 流畅运行67–119
M1 Pro32 GB3 位 流畅运行82–145
M116 GB2 位 勉强38–68

他人实测

其他人在自己的 Mac 上实测并公开发布的 Recursive Flint 生成速度。这些是第三方测量,不是我们测的,也不是上面的估算。

Mac运行时精度解码 tok/s来源
Mac Studio M3 UltraOllama (MLX engine)INT4 (QAT)107Alec Kloss @aleckloss
Mac Studio M3 Ultramlx-lm (PR #1998)INT4 (QAT)104.5Alec Kloss @aleckloss
Mac Studio M3 Ultramlx-vlmBF1651.3上下文 1K 时Prince Canuma @Prince_Canuma
Mac Studio M3 Ultramlx-vlmBF1633上下文 128K 时Prince Canuma @Prince_Canuma
Mac mini M5 Pro 64 GBOllama4-bit115Pratik Gandhi @pratikg
Mac mini M5 Pro 64 GBOllama4-bit87上下文 20K 时Pratik Gandhi @pratikg

结果因运行时和设置而异:版本、精度、上下文长度、提示词以及是否开启推理都会改变速度。

如何运行

  1. 在终端中使用开发者自己的引擎 Rec:curl -fsSL https://raw.githubusercontent.com/recursive-oss/rec/main/install.sh | bashrec launch pi要求:M4 Pro, M5 Pro or M5 Max · at least 48 GB unified memory · about 30 GB free disk · Node.js 22 and npm (for pi)版本:Hugging Face 上的 RecursiveSI/flint-int4。其他精度的版本就在旁边。

分步指南:在 Mac 上下载并运行 LLM · 如何使用 MLX Harness · MLX、Ollama 与 llama.cpp 对比

关于 Recursive Flint

开发者Recursive
参数共 39.8B · 激活 2.5B(混合专家)
上下文256K token
许可证Apache-2.0
发布时间2026-10
输入文本
权重RecursiveSI/flint

常见问题

Recursive Flint 需要多少内存?
在 4 位 下权重约 22.4 GB,再加上上下文空间,总共 24.2 GB。在 Mac 上,这意味着需要 36 GB 或以上的统一内存,因为 macOS 默认允许 GPU 使用约 75% 的统一内存。 Recursive 自己的引擎 Rec 需要配备至少 48 GB 统一内存的 M4 Pro、M5 Pro或M5 Max(开发者要求)。
Recursive Flint 在 Mac 上有多快?
生成速度取决于内存带宽。本页中运行它最快的 Mac 是 96 GB 的 M5 Ultra,每秒约 200–356 个 token(8 位)。能运行它的最低配置 Mac 是 36 GB 的 M5 Max,每秒约 148–263 个。
为什么 Recursive Flint 运行起来比它的规模显示的更快?
它是混合专家模型:内存中保存 39.8B 参数,但每个 token 只读取 2.5B,所以生成速度相当于小得多的模型。

类似模型

所有模型 · 所有 Mac · 对比你的 Mac

用于你的模型卡或 README

Runs on a Mac: Recursive Flint 显示能流畅运行 Recursive Flint 的最低配置 Mac,并链接到本页。

[![Runs on a Mac](https://mlx.app/badge/run/flint.svg)](https://mlx.app/run/flint)

计算方法

内存:模型参数按每个权重 8、6、4、3 或 2 位计算,加上 MLX 的分组缩放(每个权重半位),或按其原生格式计算,再留出上下文空间。macOS 默认允许 GPU 使用约 75% 的统一内存。速度:内存带宽除以每个 token 读取的字节数,就是单个对话的上限;在 llama.cpp 的 Apple Silicon 公开基准测试中,实际运行可达这个上限的约 45% 到 80%,本页显示的就是这个范围。这些是估算值,不是实测值:可以在 MLX Bench 上测量你自己的 Mac。模型数据来自各模型的官方模型卡,芯片数据来自 Apple 的技术规格。核对于 2026-10-19。数据与 mlx.app/compare 相同。

开放数据: mlx.app/data (JSON, CSV)

Mac 能运行 Recursive Flint 吗?各款 Apple 芯片的内存与速度