Mac 能執行 Raon-1 mini Preview 嗎?

可以,需要 24 GB 以上的統一記憶體。Raon-1 mini Preview 有 28.8B 參數,每個 token 啟用其中 4.3B;以下是它在各種精度下所需的記憶體,以及每款 Apple 晶片執行它的速度。

更新於

4 位元 所需記憶體17.7 GB權重 16.2 GB + 上下文
最低配備 Mac24 GB4 位元 · 55 種 Mac 配置
最快的 Mac117–209token/秒 · M5 Ultra 96 GB(估算)

各種精度所需記憶體

版本權重含上下文最低配備 Mac
8 位元30.6 GB33 GB48 GB
6 位元23.4 GB25.3 GB36 GB
4 位元16.2 GB17.7 GB24 GB
3 位元 品質較低12.6 GB14.1 GB24 GB
2 位元 品質較低9 GB10.5 GB16 GB

本地跑 LLM 需要多少記憶體

在每款 Apple 晶片上

每款晶片能執行 Raon-1 mini Preview 的最小記憶體容量、放得下的最佳版本,以及預期的產生速度。

晶片需要版本token/秒
M624 GB4 位元 順暢執行32–57
M5 Ultra96 GB8 位元 順暢執行117–209
M5 Max36 GB6 位元 順暢執行59–105
M5 Pro24 GB4 位元 順暢執行58–102
M524 GB4 位元 順暢執行29–51
M4 Max36 GB6 位元 順暢執行53–94
M4 Pro24 GB4 位元 順暢執行51–91
M424 GB4 位元 順暢執行23–40
M3 Ultra96 GB8 位元 順暢執行80–142
M3 Max36 GB6 位元 順暢執行39–69
M3 Pro36 GB6 位元 順暢執行19–34
M324 GB4 位元 順暢執行19–33
M2 Ultra64 GB8 位元 順暢執行78–139
M2 Max32 GB4 位元 順暢執行75–133
M2 Pro32 GB4 位元 順暢執行38–67
M224 GB4 位元 順暢執行19–33
M1 Ultra64 GB8 位元 順暢執行78–139
M1 Max32 GB4 位元 順暢執行75–133
M1 Pro32 GB4 位元 順暢執行38–67
M116 GB2 位元 順暢執行24–42

如何執行

在「終端機」中使用 Apple 的 MLX:pip install mlx-lmmlx_lm.chat --model KRAFTON/Raon-1-mini-preview-mlx --trust-remote-code--trust-remote-code 允許 mlx-lm 執行這個版本附帶的 Python 程式碼,載入模型需要它。版本:Hugging Face 上的 KRAFTON/Raon-1-mini-preview-mlx。其他精度的版本就在旁邊。

逐步教學:在 Mac 上下載並執行 LLM · MLX、Ollama 與 llama.cpp 比較

比起終端機更喜歡用 App?在 AI App Store 比較能在本機執行模型的 Mac App:價格、授權,以及你的資料去向。

關於 Raon-1 mini Preview

開發者KRAFTON
參數共 28.8B · 啟用 4.3B(混合專家)
上下文256K token
授權條款Apache-2.0
發布時間2026-10
輸入文字
權重KRAFTON/Raon-1-mini-preview

常見問題

Raon-1 mini Preview 需要多少記憶體?
在 4 位元 下權重約 16.2 GB,再加上上下文空間,總共 17.7 GB。在 Mac 上,這代表需要 24 GB 以上的統一記憶體,因為 macOS 預設讓 GPU 使用約 75% 的統一記憶體。
Raon-1 mini Preview 在 Mac 上有多快?
產生速度取決於記憶體頻寬。本頁中執行它最快的 Mac 是 96 GB 的 M5 Ultra,每秒約 117–209 個 token(8 位元)。能執行它的最低配備 Mac 是 24 GB 的 M5 Pro,每秒約 58–102 個。
為什麼 Raon-1 mini Preview 執行起來比它的規模看起來更快?
它是混合專家模型:記憶體中保存 28.8B 參數,但每個 token 只讀取 4.3B,所以產生速度相當於小得多的模型。

類似模型

所有模型 · 所有 Mac · 比較你的 Mac

用於你的模型卡或 README

Runs on a Mac: Raon-1 mini Preview 顯示能順暢執行 Raon-1 mini Preview 的最低配備 Mac,並連結到本頁。

[![Runs on a Mac](https://mlx.app/badge/run/raon-1-mini-preview.svg)](https://mlx.app/run/raon-1-mini-preview)

計算方式

記憶體:模型參數以每個權重 8、6、4、3 或 2 位元計算,加上 MLX 的分組縮放(每個權重半個位元),或依其原生格式計算,再留出上下文空間。macOS 預設讓 GPU 使用約 75% 的統一記憶體。速度:記憶體頻寬除以每個 token 讀取的位元組數,就是單一對話的上限;在 llama.cpp 的 Apple Silicon 公開效能測試中,實際執行可達這個上限的約 45% 到 80%,本頁顯示的就是這個範圍。這些是估算值,不是實測值:可以到 MLX Bench 測量你自己的 Mac。模型數據來自各模型的官方模型卡,晶片數據來自 Apple 的技術規格。核對於 2026-10-19。數據與 mlx.app/compare 相同。

開放資料: mlx.app/data (JSON, CSV)