Nemotron 3 Super 120B A12B को कितनी मेमोरी चाहिए?

4-बिट पर लगभग 67.5 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 72.9 GB। Mac पर इसका मतलब है 128 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।

Mac पर Nemotron 3 Super 120B A12B कितना तेज़ चलता है?

लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 128 GB वाला M2 Ultra है, लगभग 53–94 टोकन प्रति सेकंड (4-बिट)। इसे चलाने वाला सबसे छोटा Mac, 128 GB वाला M2 Ultra, लगभग 53–94 तक पहुँचता है।

Nemotron 3 Super 120B A12B अपने साइज़ के हिसाब से तेज़ क्यों चलता है?

यह mixture-of-experts मॉडल है: यह मेमोरी में 120B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 12B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

क्या Mac पर Nemotron 3 Super 120B A12B चलेगा? मेमोरी और स्पीड

हर प्रिसिज़न पर मेमोरी

वर्ज़न	वेट	कॉन्टेक्स्ट के साथ	सबसे छोटा Mac
8-बिट	128 GB	138 GB	192 GB
6-बिट	97.5 GB	105 GB	192 GB
4-बिट	67.5 GB	72.9 GB	128 GB
3-बिट कम क्वालिटी	52.5 GB	56.7 GB	96 GB
2-बिट कम क्वालिटी	37.5 GB	40.5 GB	64 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो Nemotron 3 Super 120B A12B चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिप	ज़रूरत	वर्ज़न	टोकन/सेकंड
M6	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M5 Ultra	256 GB	8-बिट अच्छा चलता है	42–75
M5 Max	128 GB	4-बिट अच्छा चलता है	41–72
M5 Pro	64 GB	2-बिट अच्छा चलता है	36–65
M5	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M4 Max	128 GB	4-बिट अच्छा चलता है	36–64
M4 Pro	64 GB	2-बिट अच्छा चलता है	32–57
M4	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M3 Ultra	256 GB	8-बिट अच्छा चलता है	29–51
M3 Max	128 GB	4-बिट अच्छा चलता है	26–47
M3 Pro	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M3	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M2 Ultra	128 GB	4-बिट अच्छा चलता है	53–94
M2 Max	64 GB	2-बिट अच्छा चलता है	47–84
M2 Pro	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M2	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M1 Ultra	128 GB	4-बिट अच्छा चलता है	53–94
M1 Max	64 GB	2-बिट अच्छा चलता है	47–84
M1 Pro	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M1	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–

इसे कैसे चलाएँ

आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Nemotron 3 Super 120B A12B खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
Terminal में Apple के MLX के साथ:pip install mlx-lmmlx_lm.chat --model mlx-community/NVIDIA-Nemotron-3-Super-120B-A12B-4bitबिल्ड: Hugging Face पर mlx-community/NVIDIA-Nemotron-3-Super-120B-A12B-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

Nemotron 3 Super 120B A12B के बारे में

बनाने वाला	NVIDIA
पैरामीटर	120B कुल · 12B सक्रिय (mixture of experts)
कॉन्टेक्स्ट	256K टोकन
लाइसेंस	NVIDIA Nemotron Open Model License
रिलीज़	2026-03
इनपुट	टेक्स्ट
वेट	nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16

सवाल

Nemotron 3 Super 120B A12B को कितनी मेमोरी चाहिए?: 4-बिट पर लगभग 67.5 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 72.9 GB। Mac पर इसका मतलब है 128 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर Nemotron 3 Super 120B A12B कितना तेज़ चलता है?: लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 128 GB वाला M2 Ultra है, लगभग 53–94 टोकन प्रति सेकंड (4-बिट)। इसे चलाने वाला सबसे छोटा Mac, 128 GB वाला M2 Ultra, लगभग 53–94 तक पहुँचता है।
Nemotron 3 Super 120B A12B अपने साइज़ के हिसाब से तेज़ क्यों चलता है?: यह mixture-of-experts मॉडल है: यह मेमोरी में 120B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 12B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Nemotron 3 Super 120B A12B को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/nemotron-3-super-120b-a12b.svg)](https://mlx.app/run/nemotron-3-super-120b-a12b)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।