प्रत्येक प्रिसिजनला मेमरी
| आवृत्ती | वेट | कॉन्टेक्स्टसह | सर्वात लहान Mac |
|---|---|---|---|
| 8-बिट | 78.6 GB | 84.9 GB | 128 GB |
| 6-बिट | 60.1 GB | 64.9 GB | 96 GB |
| 4-बिट | 41.6 GB | 44.9 GB | 64 GB |
| 3-बिट कमी गुणवत्ता | 32.4 GB | 35 GB | 48 GB |
| 2-बिट कमी गुणवत्ता | 23.1 GB | 24.9 GB | 36 GB |
प्रत्येक Apple चिपवर
प्रत्येक चिपचा Nemotron 3.5 Bolt 74B A9B चालवणारा सर्वात लहान मेमरी आकार, त्यात बसणारी सर्वोत्तम आवृत्ती, आणि अपेक्षित लिहिण्याचा वेग.
| चिप | लागते | आवृत्ती | टोकन/सेकंद |
|---|---|---|---|
| M6 | 32 GB | 2-बिट जेमतेम | 27–49 |
| M5 Ultra | 96 GB | 6-बिट चांगले चालते | 74–132 |
| M5 Max | 64 GB | 4-बिट चांगले चालते | 54–96 |
| M5 Pro | 64 GB | 4-बिट चांगले चालते | 27–48 |
| M5 | 32 GB | 2-बिट जेमतेम | 25–44 |
| M4 Max | 64 GB | 4-बिट चांगले चालते | 48–86 |
| M4 Pro | 64 GB | 4-बिट चांगले चालते | 24–43 |
| M4 | 32 GB | 2-बिट जेमतेम | 19–34 |
| M3 Ultra | 96 GB | 6-बिट चांगले चालते | 50–90 |
| M3 Max | 64 GB | 4-बिट चांगले चालते | 35–63 |
| M3 Pro | 36 GB | 2-बिट चांगले चालते | 24–43 |
| M3 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M2 Ultra | 64 GB | 4-बिट चांगले चालते | 71–125 |
| M2 Max | 64 GB | 4-बिट चांगले चालते | 35–63 |
| M2 Pro | 32 GB | 2-बिट जेमतेम | 32–57 |
| M2 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M1 Ultra | 64 GB | 4-बिट चांगले चालते | 71–125 |
| M1 Max | 64 GB | 4-बिट चांगले चालते | 35–63 |
| M1 Pro | 32 GB | 2-बिट जेमतेम | 32–57 |
| M1 | कोणताही आकार बसत नाही | खूप मोठे | – |
ते कसे चालवायचे
- सोपा मार्ग: MLX Harness डाउनलोड करा, ते मोफत आणि ओपन सोर्स आहे. Nemotron 3.5 Bolt 74B A9B शोधा, तुमच्या Mac मध्ये बसणारी आवृत्ती डाउनलोड करा, आणि चॅट करा. ते OpenAI-compatible API द्वारे हे मॉडेल तुमच्या इतर ॲप्सनाही देते.MLX Harness डाउनलोड करामोफत · Apple Silicon · macOS 14.5 किंवा नंतरचे
- Terminal मध्ये Apple च्या MLX सह: अजून कोणताही कम्युनिटी MLX बिल्ड नाही, म्हणून अधिकृत वेटमधून स्वतः बनवा:
pip install mlx-lmmlx_lm.convert --hf-path nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 -q
टप्प्याटप्प्याने: Mac वर LLM डाउनलोड करा आणि चालवा · MLX Harness कसे वापरायचे · MLX विरुद्ध Ollama विरुद्ध llama.cpp
Nemotron 3.5 Bolt 74B A9B बद्दल
| निर्माते | NVIDIA |
|---|---|
| पॅरामीटर | 74B एकूण · 9B सक्रिय (mixture of experts) |
| कॉन्टेक्स्ट | 256K टोकन |
| परवाना | OpenMDW-1.1 |
| प्रकाशित | 2026-10 |
| इनपुट | मजकूर आणि प्रतिमा |
| इंटेलिजन्स | Artificial Analysis Intelligence Index वर 21.4 |
| वेट | nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 |
प्रश्न
- Nemotron 3.5 Bolt 74B A9B ला किती मेमरी लागते?
- 4-बिट ला सुमारे 41.6 GB वेट, शिवाय कॉन्टेक्स्टसाठी जागा: एकूण 44.9 GB. Mac वर याचा अर्थ 64 GB किंवा जास्त युनिफाइड मेमरी, कारण डिफॉल्टनुसार macOS GPU ला त्यापैकी सुमारे 75% वापरू देते.
- Mac वर Nemotron 3.5 Bolt 74B A9B किती वेगाने चालते?
- लिहिण्याचा वेग मेमरी बँडविड्थवर अवलंबून असतो. यासाठी इथला सर्वात वेगवान Mac 96 GB असलेला M5 Ultra आहे, सेकंदाला सुमारे 74–132 टोकन (6-बिट). ते चालवणारा सर्वात लहान Mac, 64 GB असलेला M2 Ultra, सुमारे 71–125 पर्यंत पोहोचतो.
- Nemotron 3.5 Bolt 74B A9B त्याच्या आकाराच्या मानाने वेगाने का चालते?
- हे mixture-of-experts मॉडेल आहे: ते मेमरीत 74B पॅरामीटर ठेवते, पण प्रत्येक टोकनसाठी फक्त 9B वाचते, त्यामुळे ते खूप लहान मॉडेलच्या वेगाने लिहिते.
तत्सम मॉडेल
तुमच्या मॉडेल कार्ड किंवा README साठी
Nemotron 3.5 Bolt 74B A9B चांगले चालवणारा सर्वात लहान Mac दाखवते आणि इथे लिंक करते.
[](https://mlx.app/run/nemotron-3.5-bolt-74b-a9b)हिशोब कसा केला
मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.