Recursive Flint को कितनी मेमोरी चाहिए?

4-बिट पर लगभग 22.4 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 24.2 GB। Mac पर इसका मतलब है 36 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है। Recursive के अपने इंजन Rec को कम से कम 48 GB यूनिफ़ाइड मेमोरी वाला M4 Pro, M5 Pro या M5 Max चाहिए (निर्माता की शर्त)।

Mac पर Recursive Flint कितना तेज़ चलता है?

लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 200–356 टोकन प्रति सेकंड (8-बिट)। इसे चलाने वाला सबसे छोटा Mac, 36 GB वाला M5 Max, लगभग 148–263 तक पहुँचता है।

Recursive Flint अपने साइज़ के हिसाब से तेज़ क्यों चलता है?

यह mixture-of-experts मॉडल है: यह मेमोरी में 39.8B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 2.5B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

क्या Mac पर Recursive Flint चलेगा? मेमोरी और स्पीड

हर प्रिसिज़न पर मेमोरी

वर्ज़न	वेट	कॉन्टेक्स्ट के साथ	सबसे छोटा Mac
8-बिट	42.3 GB	45.7 GB	64 GB
6-बिट	32.3 GB	34.9 GB	48 GB
4-बिट	22.4 GB	24.2 GB	36 GB
3-बिट कम क्वालिटी	17.4 GB	18.9 GB	32 GB
2-बिट कम क्वालिटी	12.4 GB	13.9 GB	24 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो Recursive Flint चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिप	ज़रूरत	वर्ज़न	टोकन/सेकंड
M6	24 GB	2-बिट अच्छा चलता है	96–170
M5 Ultra	96 GB	8-बिट अच्छा चलता है	200–356
M5 Max	36 GB	4-बिट अच्छा चलता है	148–263
M5 Pro	48 GB	6-बिट अच्छा चलता है	69–123
M5	24 GB	2-बिट अच्छा चलता है	86–153
M4 Max	36 GB	4-बिट अच्छा चलता है	132–234
M4 Pro	48 GB	6-बिट अच्छा चलता है	61–109
M4	24 GB	2-बिट अच्छा चलता है	68–120
M3 Ultra	96 GB	8-बिट अच्छा चलता है	137–243
M3 Max	36 GB	4-बिट अच्छा चलता है	96–171
M3 Pro	36 GB	4-बिट अच्छा चलता है	48–86
M3	24 GB	2-बिट अच्छा चलता है	56–100
M2 Ultra	64 GB	8-बिट अच्छा चलता है	133–237
M2 Max	64 GB	8-बिट अच्छा चलता है	67–119
M2 Pro	32 GB	3-बिट अच्छा चलता है	82–145
M2	24 GB	2-बिट अच्छा चलता है	56–100
M1 Ultra	64 GB	8-बिट अच्छा चलता है	133–237
M1 Max	64 GB	8-बिट अच्छा चलता है	67–119
M1 Pro	32 GB	3-बिट अच्छा चलता है	82–145
M1	16 GB	2-बिट मुश्किल से	38–68

दूसरों द्वारा मापा गया

Recursive Flint की वे जनरेशन स्पीड जो दूसरे लोगों ने अपने Mac पर मापीं और सार्वजनिक रूप से पोस्ट कीं। ये तीसरे पक्ष के माप हैं, हमारे नहीं, और ऊपर दिए अनुमान नहीं हैं।

Mac	रनटाइम	प्रिसिज़न	डिकोड tok/s	स्रोत
Mac Studio M3 Ultra	Ollama (MLX engine)	INT4 (QAT)	107	Alec Kloss @aleckloss
Mac Studio M3 Ultra	mlx-lm (PR #1998)	INT4 (QAT)	104.5	Alec Kloss @aleckloss
Mac Studio M3 Ultra	mlx-vlm	BF16	51.31K कॉन्टेक्स्ट पर	Prince Canuma @Prince_Canuma
Mac Studio M3 Ultra	mlx-vlm	BF16	33128K कॉन्टेक्स्ट पर	Prince Canuma @Prince_Canuma
Mac mini M5 Pro 64 GB	Ollama	4-bit	115	Pratik Gandhi @pratikg
Mac mini M5 Pro 64 GB	Ollama	4-bit	8720K कॉन्टेक्स्ट पर	Pratik Gandhi @pratikg

नतीजे रनटाइम और सेटिंग्स के हिसाब से बदलते हैं: वर्शन, प्रिसिज़न, कॉन्टेक्स्ट की लंबाई, प्रॉम्प्ट और रीज़निंग चालू या बंद, सब स्पीड बदलते हैं।

इसे कैसे चलाएँ

Terminal में Rec के साथ, जो निर्माता का अपना इंजन है:curl -fsSL https://raw.githubusercontent.com/recursive-oss/rec/main/install.sh | bashrec launch piज़रूरतें: M4 Pro, M5 Pro or M5 Max · at least 48 GB unified memory · about 30 GB free disk · Node.js 22 and npm (for pi)बिल्ड: Hugging Face पर RecursiveSI/flint-int4। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

Recursive Flint के बारे में

बनाने वाला	Recursive
पैरामीटर	39.8B कुल · 2.5B सक्रिय (mixture of experts)
कॉन्टेक्स्ट	256K टोकन
लाइसेंस	Apache-2.0
रिलीज़	2026-10
इनपुट	टेक्स्ट
वेट	RecursiveSI/flint

सवाल

Recursive Flint को कितनी मेमोरी चाहिए?: 4-बिट पर लगभग 22.4 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 24.2 GB। Mac पर इसका मतलब है 36 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है। Recursive के अपने इंजन Rec को कम से कम 48 GB यूनिफ़ाइड मेमोरी वाला M4 Pro, M5 Pro या M5 Max चाहिए (निर्माता की शर्त)।
Mac पर Recursive Flint कितना तेज़ चलता है?: लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 200–356 टोकन प्रति सेकंड (8-बिट)। इसे चलाने वाला सबसे छोटा Mac, 36 GB वाला M5 Max, लगभग 148–263 तक पहुँचता है।
Recursive Flint अपने साइज़ के हिसाब से तेज़ क्यों चलता है?: यह mixture-of-experts मॉडल है: यह मेमोरी में 39.8B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 2.5B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Recursive Flint को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/flint.svg)](https://mlx.app/run/flint)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

ओपन डेटा: mlx.app/data (JSON, CSV)