Recursive Flintને કેટલી મેમરી જોઈએ?

4-બિટ પર આશરે 22.4 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 24.2 GB. Mac પર એનો અર્થ 36 GB કે વધુ યુનિફાઇડ મેમરી, કારણ કે ડિફૉલ્ટ રીતે macOS GPUને તેનો આશરે 75% ભાગ વાપરવા દે છે. Recursiveના પોતાના એન્જિન Recને ઓછામાં ઓછી 48 GB યુનિફાઇડ મેમરીવાળું M4 Pro, M5 Pro, અથવા M5 Max જોઈએ (નિર્માતાની શરત).

Mac પર Recursive Flint કેટલું ઝડપી ચાલે છે?

લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 96 GBવાળું M5 Ultra છે, સેકન્ડના આશરે 200–356 ટોકન (8-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 36 GBવાળું M5 Max, આશરે 148–263 સુધી પહોંચે છે.

Recursive Flint તેની સાઇઝના પ્રમાણમાં ઝડપી કેમ ચાલે છે?

તે mixture-of-experts મૉડલ છે: તે મેમરીમાં 39.8B પૅરામીટર રાખે છે, પણ દરેક ટોકન માટે ફક્ત 2.5B વાંચે છે, એટલે તે ઘણા નાના મૉડલની ઝડપે લખે છે.

શું Mac પર Recursive Flint ચાલી શકે? મેમરી અને ઝડપ

દરેક પ્રિસિઝન પર મેમરી

વર્ઝન	વેઇટ	કૉન્ટેક્સ્ટ સાથે	સૌથી નાનું Mac
8-બિટ	42.3 GB	45.7 GB	64 GB
6-બિટ	32.3 GB	34.9 GB	48 GB
4-બિટ	22.4 GB	24.2 GB	36 GB
3-બિટ ઓછી ગુણવત્તા	17.4 GB	18.9 GB	32 GB
2-બિટ ઓછી ગુણવત્તા	12.4 GB	13.9 GB	24 GB

દરેક Apple ચિપ પર

દરેક ચિપની Recursive Flint ચલાવતી સૌથી નાની મેમરી સાઇઝ, તેમાં સમાતું શ્રેષ્ઠ વર્ઝન, અને લખવાની અપેક્ષિત ઝડપ.

ચિપ	જરૂર	વર્ઝન	ટોકન/સેકન્ડ
M6	24 GB	2-બિટ સારું ચાલે છે	96–170
M5 Ultra	96 GB	8-બિટ સારું ચાલે છે	200–356
M5 Max	36 GB	4-બિટ સારું ચાલે છે	148–263
M5 Pro	48 GB	6-બિટ સારું ચાલે છે	69–123
M5	24 GB	2-બિટ સારું ચાલે છે	86–153
M4 Max	36 GB	4-બિટ સારું ચાલે છે	132–234
M4 Pro	48 GB	6-બિટ સારું ચાલે છે	61–109
M4	24 GB	2-બિટ સારું ચાલે છે	68–120
M3 Ultra	96 GB	8-બિટ સારું ચાલે છે	137–243
M3 Max	36 GB	4-બિટ સારું ચાલે છે	96–171
M3 Pro	36 GB	4-બિટ સારું ચાલે છે	48–86
M3	24 GB	2-બિટ સારું ચાલે છે	56–100
M2 Ultra	64 GB	8-બિટ સારું ચાલે છે	133–237
M2 Max	64 GB	8-બિટ સારું ચાલે છે	67–119
M2 Pro	32 GB	3-બિટ સારું ચાલે છે	82–145
M2	24 GB	2-બિટ સારું ચાલે છે	56–100
M1 Ultra	64 GB	8-બિટ સારું ચાલે છે	133–237
M1 Max	64 GB	8-બિટ સારું ચાલે છે	67–119
M1 Pro	32 GB	3-બિટ સારું ચાલે છે	82–145
M1	16 GB	2-બિટ માંડ માંડ	38–68

બીજાઓએ માપેલું

Recursive Flintની તે જનરેશન ઝડપ જે બીજા લોકોએ પોતાના Mac પર માપી અને જાહેરમાં પોસ્ટ કરી. આ ત્રીજા પક્ષનાં માપ છે, અમારાં નહીં, અને ઉપરના અંદાજ નથી.

Mac	રનટાઇમ	પ્રિસિઝન	ડિકોડ tok/s	સ્રોત
Mac Studio M3 Ultra	Ollama (MLX engine)	INT4 (QAT)	107	Alec Kloss @aleckloss
Mac Studio M3 Ultra	mlx-lm (PR #1998)	INT4 (QAT)	104.5	Alec Kloss @aleckloss
Mac Studio M3 Ultra	mlx-vlm	BF16	51.31K કૉન્ટેક્સ્ટ પર	Prince Canuma @Prince_Canuma
Mac Studio M3 Ultra	mlx-vlm	BF16	33128K કૉન્ટેક્સ્ટ પર	Prince Canuma @Prince_Canuma
Mac mini M5 Pro 64 GB	Ollama	4-bit	115	Pratik Gandhi @pratikg
Mac mini M5 Pro 64 GB	Ollama	4-bit	8720K કૉન્ટેક્સ્ટ પર	Pratik Gandhi @pratikg

પરિણામો રનટાઇમ અને સેટિંગ્સ પ્રમાણે બદલાય છે: વર્ઝન, પ્રિસિઝન, કૉન્ટેક્સ્ટની લંબાઈ, પ્રૉમ્પ્ટ અને રીઝનિંગ ચાલુ કે બંધ, બધું ઝડપ બદલે છે.

તેને કેવી રીતે ચલાવવું

Terminalમાં Rec સાથે, જે નિર્માતાનું પોતાનું એન્જિન છે:curl -fsSL https://raw.githubusercontent.com/recursive-oss/rec/main/install.sh | bashrec launch piજરૂરિયાતો: M4 Pro, M5 Pro or M5 Max · at least 48 GB unified memory · about 30 GB free disk · Node.js 22 and npm (for pi)બિલ્ડ: Hugging Face પર RecursiveSI/flint-int4. બીજાં પ્રિસિઝન તેની બાજુમાં જ છે.

સ્ટેપ બાય સ્ટેપ: Mac પર LLM ડાઉનલોડ કરો અને ચલાવો · MLX Harness કેવી રીતે વાપરવું · MLX વિ. Ollama વિ. llama.cpp

Recursive Flint વિશે

બનાવનાર	Recursive
પૅરામીટર	39.8B કુલ · 2.5B સક્રિય (mixture of experts)
કૉન્ટેક્સ્ટ	256K ટોકન
લાઇસન્સ	Apache-2.0
રિલીઝ	2026-10
ઇનપુટ	ટેક્સ્ટ
વેઇટ	RecursiveSI/flint

પ્રશ્નો

Recursive Flintને કેટલી મેમરી જોઈએ?: 4-બિટ પર આશરે 22.4 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 24.2 GB. Mac પર એનો અર્થ 36 GB કે વધુ યુનિફાઇડ મેમરી, કારણ કે ડિફૉલ્ટ રીતે macOS GPUને તેનો આશરે 75% ભાગ વાપરવા દે છે. Recursiveના પોતાના એન્જિન Recને ઓછામાં ઓછી 48 GB યુનિફાઇડ મેમરીવાળું M4 Pro, M5 Pro, અથવા M5 Max જોઈએ (નિર્માતાની શરત).
Mac પર Recursive Flint કેટલું ઝડપી ચાલે છે?: લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 96 GBવાળું M5 Ultra છે, સેકન્ડના આશરે 200–356 ટોકન (8-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 36 GBવાળું M5 Max, આશરે 148–263 સુધી પહોંચે છે.
Recursive Flint તેની સાઇઝના પ્રમાણમાં ઝડપી કેમ ચાલે છે?: તે mixture-of-experts મૉડલ છે: તે મેમરીમાં 39.8B પૅરામીટર રાખે છે, પણ દરેક ટોકન માટે ફક્ત 2.5B વાંચે છે, એટલે તે ઘણા નાના મૉડલની ઝડપે લખે છે.

મળતાં આવતાં મૉડલ

દરેક મૉડલ · દરેક Mac · તમારા Macની સરખામણી કરો

તમારા મૉડલ કાર્ડ કે README માટે

Recursive Flintને સારી રીતે ચલાવતું સૌથી નાનું Mac બતાવે છે અને અહીં લિંક કરે છે.

[![Runs on a Mac](https://mlx.app/badge/run/flint.svg)](https://mlx.app/run/flint)

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.

ઓપન ડેટા: mlx.app/data (JSON, CSV)