Recursive Flintకు ఎంత మెమరీ కావాలి?

4-బిట్ వద్ద సుమారు 22.4 GB వెయిట్లు, దానితో పాటు కాంటెక్స్ట్కు చోటు: మొత్తం 24.2 GB. Macలో అంటే 36 GB లేదా అంతకంటే ఎక్కువ యూనిఫైడ్ మెమరీ, ఎందుకంటే డిఫాల్ట్గా macOS దానిలో సుమారు 75%ను మాత్రమే GPU వాడుకోనిస్తుంది. Recursive సొంత ఇంజిన్ Recకి కనీసం 48 GB యూనిఫైడ్ మెమరీ ఉన్న M4 Pro, M5 Pro లేదా M5 Max కావాలి (తయారీదారు షరతు).

Macలో Recursive Flint ఎంత వేగంగా నడుస్తుంది?

రాసే వేగం మెమరీ బ్యాండ్విడ్త్పై ఆధారపడుతుంది. ఇక్కడ దీనికి అత్యంత వేగవంతమైన Mac 96 GB ఉన్న M5 Ultra, సెకనుకు సుమారు 200–356 టోకెన్లు (8-బిట్). దీన్ని నడిపే అతిచిన్న Mac, 36 GB ఉన్న M5 Max, సుమారు 148–263 వరకు చేరుతుంది.

Recursive Flint దాని సైజుకు మించిన వేగంతో ఎందుకు నడుస్తుంది?

ఇది mixture-of-experts మోడల్: మెమరీలో 39.8B పారామీటర్లను ఉంచుతుంది, కానీ ప్రతి టోకెన్కు 2.5B మాత్రమే చదువుతుంది, అందుకే చాలా చిన్న మోడల్ వేగంతో రాస్తుంది.

Macలో Recursive Flint నడుస్తుందా? మెమరీ, వేగం

ప్రతి ప్రెసిషన్ వద్ద మెమరీ

వెర్షన్	వెయిట్‌లు	కాంటెక్స్ట్‌తో	అతిచిన్న Mac
8-బిట్	42.3 GB	45.7 GB	64 GB
6-బిట్	32.3 GB	34.9 GB	48 GB
4-బిట్	22.4 GB	24.2 GB	36 GB
3-బిట్ తక్కువ నాణ్యత	17.4 GB	18.9 GB	32 GB
2-బిట్ తక్కువ నాణ్యత	12.4 GB	13.9 GB	24 GB

ప్రతి Apple చిప్‌పై

Recursive Flintను నడిపే ప్రతి చిప్ యొక్క అతిచిన్న మెమరీ సైజు, దానిలో సరిపోయే ఉత్తమ వెర్షన్, ఆశించదగిన రాసే వేగం.

చిప్	కావాలి	వెర్షన్	టోకెన్‌లు/సెకను
M6	24 GB	2-బిట్ బాగా నడుస్తుంది	96–170
M5 Ultra	96 GB	8-బిట్ బాగా నడుస్తుంది	200–356
M5 Max	36 GB	4-బిట్ బాగా నడుస్తుంది	148–263
M5 Pro	48 GB	6-బిట్ బాగా నడుస్తుంది	69–123
M5	24 GB	2-బిట్ బాగా నడుస్తుంది	86–153
M4 Max	36 GB	4-బిట్ బాగా నడుస్తుంది	132–234
M4 Pro	48 GB	6-బిట్ బాగా నడుస్తుంది	61–109
M4	24 GB	2-బిట్ బాగా నడుస్తుంది	68–120
M3 Ultra	96 GB	8-బిట్ బాగా నడుస్తుంది	137–243
M3 Max	36 GB	4-బిట్ బాగా నడుస్తుంది	96–171
M3 Pro	36 GB	4-బిట్ బాగా నడుస్తుంది	48–86
M3	24 GB	2-బిట్ బాగా నడుస్తుంది	56–100
M2 Ultra	64 GB	8-బిట్ బాగా నడుస్తుంది	133–237
M2 Max	64 GB	8-బిట్ బాగా నడుస్తుంది	67–119
M2 Pro	32 GB	3-బిట్ బాగా నడుస్తుంది	82–145
M2	24 GB	2-బిట్ బాగా నడుస్తుంది	56–100
M1 Ultra	64 GB	8-బిట్ బాగా నడుస్తుంది	133–237
M1 Max	64 GB	8-బిట్ బాగా నడుస్తుంది	67–119
M1 Pro	32 GB	3-బిట్ బాగా నడుస్తుంది	82–145
M1	16 GB	2-బిట్ అతికష్టంగా	38–68

ఇతరులు కొలిచినవి

ఇతరులు తమ సొంత Mac‌లలో కొలిచి బహిరంగంగా పోస్ట్ చేసిన Recursive Flint జనరేషన్ వేగాలు. ఇవి మూడో పక్షం కొలతలు, మావి కావు, పైన ఉన్న అంచనాలూ కావు.

Mac	రన్‌టైమ్	ప్రెసిషన్	డీకోడ్ tok/s	మూలం
Mac Studio M3 Ultra	Ollama (MLX engine)	INT4 (QAT)	107	Alec Kloss @aleckloss
Mac Studio M3 Ultra	mlx-lm (PR #1998)	INT4 (QAT)	104.5	Alec Kloss @aleckloss
Mac Studio M3 Ultra	mlx-vlm	BF16	51.31K కాంటెక్స్ట్ వద్ద	Prince Canuma @Prince_Canuma
Mac Studio M3 Ultra	mlx-vlm	BF16	33128K కాంటెక్స్ట్ వద్ద	Prince Canuma @Prince_Canuma
Mac mini M5 Pro 64 GB	Ollama	4-bit	115	Pratik Gandhi @pratikg
Mac mini M5 Pro 64 GB	Ollama	4-bit	8720K కాంటెక్స్ట్ వద్ద	Pratik Gandhi @pratikg

ఫలితాలు రన్‌టైమ్, సెట్టింగ్‌లను బట్టి మారుతాయి: వెర్షన్, ప్రెసిషన్, కాంటెక్స్ట్ పొడవు, ప్రాంప్ట్, రీజనింగ్ ఆన్ లేదా ఆఫ్ అన్నీ వేగాన్ని మారుస్తాయి.

దీన్ని ఎలా నడపాలి

Terminalలో Recతో, ఇది తయారీదారు సొంత ఇంజిన్:curl -fsSL https://raw.githubusercontent.com/recursive-oss/rec/main/install.sh | bashrec launch piఅవసరాలు: M4 Pro, M5 Pro or M5 Max · at least 48 GB unified memory · about 30 GB free disk · Node.js 22 and npm (for pi)బిల్డ్: Hugging Faceలో RecursiveSI/flint-int4. ఇతర ప్రెసిషన్‌లు దాని పక్కనే ఉన్నాయి.

దశలవారీగా: Macలో LLMలను డౌన్‌లోడ్ చేసి నడపండి · MLX Harnessను ఎలా వాడాలి · MLX vs Ollama vs llama.cpp

Recursive Flint గురించి

తయారీదారు	Recursive
పారామీటర్‌లు	మొత్తం 39.8B · యాక్టివ్ 2.5B (mixture of experts)
కాంటెక్స్ట్	256K టోకెన్‌లు
లైసెన్స్	Apache-2.0
విడుదల	2026-10
ఇన్‌పుట్	టెక్స్ట్
వెయిట్‌లు	RecursiveSI/flint

ప్రశ్నలు

Recursive Flintకు ఎంత మెమరీ కావాలి?: 4-బిట్ వద్ద సుమారు 22.4 GB వెయిట్‌లు, దానితో పాటు కాంటెక్స్ట్‌కు చోటు: మొత్తం 24.2 GB. Macలో అంటే 36 GB లేదా అంతకంటే ఎక్కువ యూనిఫైడ్ మెమరీ, ఎందుకంటే డిఫాల్ట్‌గా macOS దానిలో సుమారు 75%ను మాత్రమే GPU వాడుకోనిస్తుంది. Recursive సొంత ఇంజిన్ Recకి కనీసం 48 GB యూనిఫైడ్ మెమరీ ఉన్న M4 Pro, M5 Pro లేదా M5 Max కావాలి (తయారీదారు షరతు).
Macలో Recursive Flint ఎంత వేగంగా నడుస్తుంది?: రాసే వేగం మెమరీ బ్యాండ్‌విడ్త్‌పై ఆధారపడుతుంది. ఇక్కడ దీనికి అత్యంత వేగవంతమైన Mac 96 GB ఉన్న M5 Ultra, సెకనుకు సుమారు 200–356 టోకెన్‌లు (8-బిట్). దీన్ని నడిపే అతిచిన్న Mac, 36 GB ఉన్న M5 Max, సుమారు 148–263 వరకు చేరుతుంది.
Recursive Flint దాని సైజుకు మించిన వేగంతో ఎందుకు నడుస్తుంది?: ఇది mixture-of-experts మోడల్: మెమరీలో 39.8B పారామీటర్‌లను ఉంచుతుంది, కానీ ప్రతి టోకెన్‌కు 2.5B మాత్రమే చదువుతుంది, అందుకే చాలా చిన్న మోడల్ వేగంతో రాస్తుంది.

ఇలాంటి మోడల్‌లు

అన్ని మోడల్‌లు · అన్ని Macలు · మీ Macను పోల్చండి

మీ మోడల్ కార్డ్ లేదా README కోసం

Recursive Flintను బాగా నడిపే అతిచిన్న Macను చూపి, ఇక్కడికి లింక్ ఇస్తుంది.

[![Runs on a Mac](https://mlx.app/badge/run/flint.svg)](https://mlx.app/run/flint)

ఎలా లెక్కించాం

మెమరీ: మోడల్ పారామీటర్‌లు వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్‌ల వద్ద, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా దాని నేటివ్ ఫార్మాట్, పైన కాంటెక్స్ట్‌కు చోటు. డిఫాల్ట్‌గా macOS యూనిఫైడ్ మెమరీలో సుమారు 75%ను GPU వాడుకోనిస్తుంది. వేగం: మెమరీ బ్యాండ్‌విడ్త్‌ను ప్రతి టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; llama.cpp పబ్లిక్ Apple Silicon బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి, ఆ పరిధినే చూపిస్తున్నాం. ఇవి అంచనాలు, కొలతలు కావు: మీ సొంత Macను MLX Benchలో కొలవండి. మోడల్ వివరాలు ప్రతి అధికారిక మోడల్ కార్డ్ నుండి, చిప్ వివరాలు Apple Tech Specs నుండి. 2026-10-19న తనిఖీ చేశాం. mlx.app/compareలో ఉన్న అదే డేటా.

ఓపెన్ డేటా: mlx.app/data (JSON, CSV)