Mac 能執行 Recursive Flint 嗎?

可以,需要 36 GB 以上的統一記憶體。Recursive Flint 有 39.8B 參數,每個 token 啟用其中 2.5B;以下是它在各種精度下所需的記憶體,以及每款 Apple 晶片執行它的速度。 Recursive 自己的引擎 Rec 需要配備至少 48 GB 統一記憶體的 M4 Pro、M5 Pro或M5 Max(開發者要求)。 本頁的記憶體和速度數字是針對通用 MLX 版本的估算。

更新於

4 位元 所需記憶體24.2 GB權重 22.4 GB + 上下文
最低配備 Mac36 GB4 位元,估算 · Rec 需要 48 GB
最快的 Mac200–356token/秒 · M5 Ultra 96 GB(估算)

各種精度所需記憶體

版本權重含上下文最低配備 Mac
8 位元42.3 GB45.7 GB64 GB
6 位元32.3 GB34.9 GB48 GB
4 位元22.4 GB24.2 GB36 GB
3 位元 品質較低17.4 GB18.9 GB32 GB
2 位元 品質較低12.4 GB13.9 GB24 GB

在每款 Apple 晶片上

每款晶片能執行 Recursive Flint 的最小記憶體容量、放得下的最佳版本,以及預期的產生速度。

晶片需要版本token/秒
M624 GB2 位元 順暢執行96–170
M5 Ultra96 GB8 位元 順暢執行200–356
M5 Max36 GB4 位元 順暢執行148–263
M5 Pro48 GB6 位元 順暢執行69–123
M524 GB2 位元 順暢執行86–153
M4 Max36 GB4 位元 順暢執行132–234
M4 Pro48 GB6 位元 順暢執行61–109
M424 GB2 位元 順暢執行68–120
M3 Ultra96 GB8 位元 順暢執行137–243
M3 Max36 GB4 位元 順暢執行96–171
M3 Pro36 GB4 位元 順暢執行48–86
M324 GB2 位元 順暢執行56–100
M2 Ultra64 GB8 位元 順暢執行133–237
M2 Max64 GB8 位元 順暢執行67–119
M2 Pro32 GB3 位元 順暢執行82–145
M224 GB2 位元 順暢執行56–100
M1 Ultra64 GB8 位元 順暢執行133–237
M1 Max64 GB8 位元 順暢執行67–119
M1 Pro32 GB3 位元 順暢執行82–145
M116 GB2 位元 勉強38–68

他人實測

其他人在自己的 Mac 上實測並公開發布的 Recursive Flint 生成速度。這些是第三方測量,不是我們測的,也不是上面的估算。

Mac執行環境精度解碼 tok/s來源
Mac Studio M3 UltraOllama (MLX engine)INT4 (QAT)107Alec Kloss @aleckloss
Mac Studio M3 Ultramlx-lm (PR #1998)INT4 (QAT)104.5Alec Kloss @aleckloss
Mac Studio M3 Ultramlx-vlmBF1651.3上下文 1K 時Prince Canuma @Prince_Canuma
Mac Studio M3 Ultramlx-vlmBF1633上下文 128K 時Prince Canuma @Prince_Canuma
Mac mini M5 Pro 64 GBOllama4-bit115Pratik Gandhi @pratikg
Mac mini M5 Pro 64 GBOllama4-bit87上下文 20K 時Pratik Gandhi @pratikg

結果因執行環境和設定而異:版本、精度、上下文長度、提示詞以及是否開啟推理都會改變速度。

如何執行

  1. 在「終端機」中使用開發者自己的引擎 Rec:curl -fsSL https://raw.githubusercontent.com/recursive-oss/rec/main/install.sh | bashrec launch pi需求:M4 Pro, M5 Pro or M5 Max · at least 48 GB unified memory · about 30 GB free disk · Node.js 22 and npm (for pi)版本:Hugging Face 上的 RecursiveSI/flint-int4。其他精度的版本就在旁邊。

逐步教學:在 Mac 上下載並執行 LLM · 如何使用 MLX Harness · MLX、Ollama 與 llama.cpp 比較

關於 Recursive Flint

開發者Recursive
參數共 39.8B · 啟用 2.5B(混合專家)
上下文256K token
授權條款Apache-2.0
發布時間2026-10
輸入文字
權重RecursiveSI/flint

常見問題

Recursive Flint 需要多少記憶體?
在 4 位元 下權重約 22.4 GB,再加上上下文空間,總共 24.2 GB。在 Mac 上,這代表需要 36 GB 以上的統一記憶體,因為 macOS 預設讓 GPU 使用約 75% 的統一記憶體。 Recursive 自己的引擎 Rec 需要配備至少 48 GB 統一記憶體的 M4 Pro、M5 Pro或M5 Max(開發者要求)。
Recursive Flint 在 Mac 上有多快?
產生速度取決於記憶體頻寬。本頁中執行它最快的 Mac 是 96 GB 的 M5 Ultra,每秒約 200–356 個 token(8 位元)。能執行它的最低配備 Mac 是 36 GB 的 M5 Max,每秒約 148–263 個。
為什麼 Recursive Flint 執行起來比它的規模看起來更快?
它是混合專家模型:記憶體中保存 39.8B 參數,但每個 token 只讀取 2.5B,所以產生速度相當於小得多的模型。

類似模型

所有模型 · 所有 Mac · 比較你的 Mac

用於你的模型卡或 README

Runs on a Mac: Recursive Flint 顯示能順暢執行 Recursive Flint 的最低配備 Mac,並連結到本頁。

[![Runs on a Mac](https://mlx.app/badge/run/flint.svg)](https://mlx.app/run/flint)

計算方式

記憶體:模型參數以每個權重 8、6、4、3 或 2 位元計算,加上 MLX 的分組縮放(每個權重半個位元),或依其原生格式計算,再留出上下文空間。macOS 預設讓 GPU 使用約 75% 的統一記憶體。速度:記憶體頻寬除以每個 token 讀取的位元組數,就是單一對話的上限;在 llama.cpp 的 Apple Silicon 公開效能測試中,實際執行可達這個上限的約 45% 到 80%,本頁顯示的就是這個範圍。這些是估算值,不是實測值:可以到 MLX Bench 測量你自己的 Mac。模型數據來自各模型的官方模型卡,晶片數據來自 Apple 的技術規格。核對於 2026-10-19。數據與 mlx.app/compare 相同。

開放資料: mlx.app/data (JSON, CSV)

Mac 能執行 Recursive Flint 嗎?各款 Apple 晶片的記憶體與速度