लॉग इनवॉलेट बनाएँ

क्या Mac पर Nemotron 3.5 Bolt 74B A9B चल सकता है?

हाँ, 64 GB या ज़्यादा यूनिफ़ाइड मेमोरी के साथ। Nemotron 3.5 Bolt 74B A9B में 74B पैरामीटर हैं, जिनमें से हर टोकन के लिए 9B सक्रिय रहते हैं; यहाँ देखें कि हर प्रिसिज़न पर इसे कितनी मेमोरी चाहिए और हर Apple चिप इसे कितनी तेज़ी से चलाती है।

4-बिट पर मेमोरी44.9 GBवेट 41.6 GB + कॉन्टेक्स्ट
सबसे छोटा Mac64 GB4-बिट · 32 Mac कॉन्फ़िगरेशन
सबसे तेज़ Mac74–132टोकन/सेकंड · M5 Ultra 96 GB (अनुमान)

हर प्रिसिज़न पर मेमोरी

वर्ज़नवेटकॉन्टेक्स्ट के साथसबसे छोटा Mac
8-बिट78.6 GB84.9 GB128 GB
6-बिट60.1 GB64.9 GB96 GB
4-बिट41.6 GB44.9 GB64 GB
3-बिट कम क्वालिटी32.4 GB35 GB48 GB
2-बिट कम क्वालिटी23.1 GB24.9 GB36 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो Nemotron 3.5 Bolt 74B A9B चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिपज़रूरतवर्ज़नटोकन/सेकंड
M632 GB2-बिट मुश्किल से27–49
M5 Ultra96 GB6-बिट अच्छा चलता है74–132
M5 Max64 GB4-बिट अच्छा चलता है54–96
M5 Pro64 GB4-बिट अच्छा चलता है27–48
M532 GB2-बिट मुश्किल से25–44
M4 Max64 GB4-बिट अच्छा चलता है48–86
M4 Pro64 GB4-बिट अच्छा चलता है24–43
M432 GB2-बिट मुश्किल से19–34
M3 Ultra96 GB6-बिट अच्छा चलता है50–90
M3 Max64 GB4-बिट अच्छा चलता है35–63
M3 Pro36 GB2-बिट अच्छा चलता है24–43
M3कोई साइज़ फ़िट नहींबहुत बड़ा–
M2 Ultra64 GB4-बिट अच्छा चलता है71–125
M2 Max64 GB4-बिट अच्छा चलता है35–63
M2 Pro32 GB2-बिट मुश्किल से32–57
M2कोई साइज़ फ़िट नहींबहुत बड़ा–
M1 Ultra64 GB4-बिट अच्छा चलता है71–125
M1 Max64 GB4-बिट अच्छा चलता है35–63
M1 Pro32 GB2-बिट मुश्किल से32–57
M1कोई साइज़ फ़िट नहींबहुत बड़ा–

इसे कैसे चलाएँ

  1. आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Nemotron 3.5 Bolt 74B A9B खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
  2. Terminal में Apple के MLX के साथ: अभी कोई कम्युनिटी MLX बिल्ड नहीं है, इसलिए आधिकारिक वेट से खुद बनाएँ:pip install mlx-lmmlx_lm.convert --hf-path nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 -q

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

Nemotron 3.5 Bolt 74B A9B के बारे में

बनाने वालाNVIDIA
पैरामीटर74B कुल · 9B सक्रिय (mixture of experts)
कॉन्टेक्स्ट256K टोकन
लाइसेंसOpenMDW-1.1
रिलीज़2026-10
इनपुटटेक्स्ट और इमेज
इंटेलिजेंसArtificial Analysis Intelligence Index पर 21.4
वेटnvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16

सवाल

Nemotron 3.5 Bolt 74B A9B को कितनी मेमोरी चाहिए?
4-बिट पर लगभग 41.6 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 44.9 GB। Mac पर इसका मतलब है 64 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर Nemotron 3.5 Bolt 74B A9B कितना तेज़ चलता है?
लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 74–132 टोकन प्रति सेकंड (6-बिट)। इसे चलाने वाला सबसे छोटा Mac, 64 GB वाला M2 Ultra, लगभग 71–125 तक पहुँचता है।
Nemotron 3.5 Bolt 74B A9B अपने साइज़ के हिसाब से तेज़ क्यों चलता है?
यह mixture-of-experts मॉडल है: यह मेमोरी में 74B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 9B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Runs on a Mac: Nemotron 3.5 Bolt 74B A9B Nemotron 3.5 Bolt 74B A9B को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/nemotron-3.5-bolt-74b-a9b.svg)](https://mlx.app/run/nemotron-3.5-bolt-74b-a9b)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

क्या Mac पर Nemotron 3.5 Bolt 74B A9B चलेगा? मेमोरी और स्पीड