लॉग इनवॉलेट तयार करा

Mac वर Nemotron 3.5 Lightning 30B A3B चालू शकते का?

हो, 32 GB किंवा जास्त युनिफाइड मेमरीसह. Nemotron 3.5 Lightning 30B A3B मध्ये 30B पॅरामीटर आहेत, त्यापैकी प्रत्येक टोकनसाठी 3B सक्रिय असतात; प्रत्येक प्रिसिजनला त्याला किती मेमरी लागते आणि प्रत्येक Apple चिप ते किती वेगाने चालवते, ते इथे पाहा.

4-बिट ला मेमरी18.4 GBवेट 16.9 GB + कॉन्टेक्स्ट
सर्वात लहान Mac32 GB4-बिट · 55 Mac कॉन्फिगरेशन
सर्वात वेगवान Mac169–300टोकन/सेकंद · M5 Ultra 96 GB (अंदाज)

प्रत्येक प्रिसिजनला मेमरी

आवृत्तीवेटकॉन्टेक्स्टसहसर्वात लहान Mac
8-बिट31.9 GB34.5 GB48 GB
6-बिट24.4 GB26.4 GB36 GB
4-बिट16.9 GB18.4 GB32 GB
3-बिट कमी गुणवत्ता13.1 GB14.6 GB24 GB
2-बिट कमी गुणवत्ता9.4 GB10.9 GB16 GB

प्रत्येक Apple चिपवर

प्रत्येक चिपचा Nemotron 3.5 Lightning 30B A3B चालवणारा सर्वात लहान मेमरी आकार, त्यात बसणारी सर्वोत्तम आवृत्ती, आणि अपेक्षित लिहिण्याचा वेग.

चिपलागतेआवृत्तीटोकन/सेकंद
M632 GB4-बिट चांगले चालते45–80
M5 Ultra96 GB8-बिट चांगले चालते169–300
M5 Max36 GB6-बिट चांगले चालते86–153
M5 Pro48 GB8-बिट चांगले चालते43–77
M532 GB4-बिट चांगले चालते41–72
M4 Max36 GB6-बिट चांगले चालते77–137
M4 Pro48 GB8-बिट चांगले चालते38–68
M432 GB4-बिट चांगले चालते32–56
M3 Ultra96 GB8-बिट चांगले चालते115–205
M3 Max36 GB6-बिट चांगले चालते56–100
M3 Pro36 GB6-बिट चांगले चालते28–50
M316 GB2-बिट चांगले चालते50–89
M2 Ultra64 GB8-बिट चांगले चालते113–200
M2 Max32 GB4-बिट चांगले चालते106–188
M2 Pro32 GB4-बिट चांगले चालते53–94
M216 GB2-बिट चांगले चालते50–89
M1 Ultra64 GB8-बिट चांगले चालते113–200
M1 Max32 GB4-बिट चांगले चालते106–188
M1 Pro32 GB4-बिट चांगले चालते53–94
M116 GB2-बिट चांगले चालते34–60

ते कसे चालवायचे

  1. सोपा मार्ग: MLX Harness डाउनलोड करा, ते मोफत आणि ओपन सोर्स आहे. Nemotron 3.5 Lightning 30B A3B शोधा, तुमच्या Mac मध्ये बसणारी आवृत्ती डाउनलोड करा, आणि चॅट करा. ते OpenAI-compatible API द्वारे हे मॉडेल तुमच्या इतर ॲप्सनाही देते.MLX Harness डाउनलोड करामोफत · Apple Silicon · macOS 14.5 किंवा नंतरचे
  2. Terminal मध्ये Apple च्या MLX सह:pip install mlx-lmmlx_lm.chat --model mlx-community/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-4bitबिल्ड: Hugging Face वर mlx-community/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-4bit. इतर प्रिसिजन त्याच्याच शेजारी आहेत.

टप्प्याटप्प्याने: Mac वर LLM डाउनलोड करा आणि चालवा · MLX Harness कसे वापरायचे · MLX विरुद्ध Ollama विरुद्ध llama.cpp

Nemotron 3.5 Lightning 30B A3B बद्दल

निर्मातेNVIDIA
पॅरामीटर30B एकूण · 3B सक्रिय (mixture of experts)
कॉन्टेक्स्ट256K टोकन
परवानाOpenMDW-1.1
प्रकाशित2026-08
इनपुटमजकूर
इंटेलिजन्सArtificial Analysis Intelligence Index वर 12.9
वेटnvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16

प्रश्न

Nemotron 3.5 Lightning 30B A3B ला किती मेमरी लागते?
4-बिट ला सुमारे 16.9 GB वेट, शिवाय कॉन्टेक्स्टसाठी जागा: एकूण 18.4 GB. Mac वर याचा अर्थ 32 GB किंवा जास्त युनिफाइड मेमरी, कारण डिफॉल्टनुसार macOS GPU ला त्यापैकी सुमारे 75% वापरू देते.
Mac वर Nemotron 3.5 Lightning 30B A3B किती वेगाने चालते?
लिहिण्याचा वेग मेमरी बँडविड्थवर अवलंबून असतो. यासाठी इथला सर्वात वेगवान Mac 96 GB असलेला M5 Ultra आहे, सेकंदाला सुमारे 169–300 टोकन (8-बिट). ते चालवणारा सर्वात लहान Mac, 32 GB असलेला M2 Max, सुमारे 106–188 पर्यंत पोहोचतो.
Nemotron 3.5 Lightning 30B A3B त्याच्या आकाराच्या मानाने वेगाने का चालते?
हे mixture-of-experts मॉडेल आहे: ते मेमरीत 30B पॅरामीटर ठेवते, पण प्रत्येक टोकनसाठी फक्त 3B वाचते, त्यामुळे ते खूप लहान मॉडेलच्या वेगाने लिहिते.

तत्सम मॉडेल

प्रत्येक मॉडेल · प्रत्येक Mac · तुमच्या Mac ची तुलना करा

तुमच्या मॉडेल कार्ड किंवा README साठी

Runs on a Mac: Nemotron 3.5 Lightning 30B A3B Nemotron 3.5 Lightning 30B A3B चांगले चालवणारा सर्वात लहान Mac दाखवते आणि इथे लिंक करते.

[![Runs on a Mac](https://mlx.app/badge/run/nemotron-3.5-lightning-30b-a3b.svg)](https://mlx.app/run/nemotron-3.5-lightning-30b-a3b)

हिशोब कसा केला

मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.

Mac वर Nemotron 3.5 Lightning 30B A3B चालू शकते का? मेमरी आणि वेग