લૉગ ઇનવૉલેટ બનાવો

શું Mac પર Nemotron 3.5 Lightning 30B A3B ચાલી શકે?

હા, 32 GB કે વધુ યુનિફાઇડ મેમરી સાથે. Nemotron 3.5 Lightning 30B A3Bમાં 30B પૅરામીટર છે, જેમાંથી દરેક ટોકન માટે 3B સક્રિય રહે છે; દરેક પ્રિસિઝન પર તેને કેટલી મેમરી જોઈએ અને દરેક Apple ચિપ તેને કેટલી ઝડપે ચલાવે છે, તે અહીં જુઓ.

4-બિટ પર મેમરી18.4 GBવેઇટ 16.9 GB + કૉન્ટેક્સ્ટ
સૌથી નાનું Mac32 GB4-બિટ · 55 Mac કૉન્ફિગરેશન
સૌથી ઝડપી Mac169–300ટોકન/સેકન્ડ · M5 Ultra 96 GB (અંદાજ)

દરેક પ્રિસિઝન પર મેમરી

વર્ઝનવેઇટકૉન્ટેક્સ્ટ સાથેસૌથી નાનું Mac
8-બિટ31.9 GB34.5 GB48 GB
6-બિટ24.4 GB26.4 GB36 GB
4-બિટ16.9 GB18.4 GB32 GB
3-બિટ ઓછી ગુણવત્તા13.1 GB14.6 GB24 GB
2-બિટ ઓછી ગુણવત્તા9.4 GB10.9 GB16 GB

દરેક Apple ચિપ પર

દરેક ચિપની Nemotron 3.5 Lightning 30B A3B ચલાવતી સૌથી નાની મેમરી સાઇઝ, તેમાં સમાતું શ્રેષ્ઠ વર્ઝન, અને લખવાની અપેક્ષિત ઝડપ.

ચિપજરૂરવર્ઝનટોકન/સેકન્ડ
M632 GB4-બિટ સારું ચાલે છે45–80
M5 Ultra96 GB8-બિટ સારું ચાલે છે169–300
M5 Max36 GB6-બિટ સારું ચાલે છે86–153
M5 Pro48 GB8-બિટ સારું ચાલે છે43–77
M532 GB4-બિટ સારું ચાલે છે41–72
M4 Max36 GB6-બિટ સારું ચાલે છે77–137
M4 Pro48 GB8-બિટ સારું ચાલે છે38–68
M432 GB4-બિટ સારું ચાલે છે32–56
M3 Ultra96 GB8-બિટ સારું ચાલે છે115–205
M3 Max36 GB6-બિટ સારું ચાલે છે56–100
M3 Pro36 GB6-બિટ સારું ચાલે છે28–50
M316 GB2-બિટ સારું ચાલે છે50–89
M2 Ultra64 GB8-બિટ સારું ચાલે છે113–200
M2 Max32 GB4-બિટ સારું ચાલે છે106–188
M2 Pro32 GB4-બિટ સારું ચાલે છે53–94
M216 GB2-બિટ સારું ચાલે છે50–89
M1 Ultra64 GB8-બિટ સારું ચાલે છે113–200
M1 Max32 GB4-બિટ સારું ચાલે છે106–188
M1 Pro32 GB4-બિટ સારું ચાલે છે53–94
M116 GB2-બિટ સારું ચાલે છે34–60

તેને કેવી રીતે ચલાવવું

  1. સરળ રીત: MLX Harness ડાઉનલોડ કરો, જે મફત અને ઓપન સોર્સ છે. Nemotron 3.5 Lightning 30B A3B શોધો, તમારા Macમાં સમાતું વર્ઝન ડાઉનલોડ કરો, અને ચૅટ કરો. તે OpenAI-compatible API દ્વારા આ મૉડલ તમારી બીજી ઍપને પણ આપે છે.MLX Harness ડાઉનલોડ કરોમફત · Apple Silicon · macOS 14.5 કે પછીનું
  2. Terminalમાં Appleના MLX સાથે:pip install mlx-lmmlx_lm.chat --model mlx-community/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-4bitબિલ્ડ: Hugging Face પર mlx-community/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-4bit. બીજાં પ્રિસિઝન તેની બાજુમાં જ છે.

સ્ટેપ બાય સ્ટેપ: Mac પર LLM ડાઉનલોડ કરો અને ચલાવો · MLX Harness કેવી રીતે વાપરવું · MLX વિ. Ollama વિ. llama.cpp

Nemotron 3.5 Lightning 30B A3B વિશે

બનાવનારNVIDIA
પૅરામીટર30B કુલ · 3B સક્રિય (mixture of experts)
કૉન્ટેક્સ્ટ256K ટોકન
લાઇસન્સOpenMDW-1.1
રિલીઝ2026-08
ઇનપુટટેક્સ્ટ
ઇન્ટેલિજન્સArtificial Analysis Intelligence Index પર 12.9
વેઇટnvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16

પ્રશ્નો

Nemotron 3.5 Lightning 30B A3Bને કેટલી મેમરી જોઈએ?
4-બિટ પર આશરે 16.9 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 18.4 GB. Mac પર એનો અર્થ 32 GB કે વધુ યુનિફાઇડ મેમરી, કારણ કે ડિફૉલ્ટ રીતે macOS GPUને તેનો આશરે 75% ભાગ વાપરવા દે છે.
Mac પર Nemotron 3.5 Lightning 30B A3B કેટલું ઝડપી ચાલે છે?
લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 96 GBવાળું M5 Ultra છે, સેકન્ડના આશરે 169–300 ટોકન (8-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 32 GBવાળું M2 Max, આશરે 106–188 સુધી પહોંચે છે.
Nemotron 3.5 Lightning 30B A3B તેની સાઇઝના પ્રમાણમાં ઝડપી કેમ ચાલે છે?
તે mixture-of-experts મૉડલ છે: તે મેમરીમાં 30B પૅરામીટર રાખે છે, પણ દરેક ટોકન માટે ફક્ત 3B વાંચે છે, એટલે તે ઘણા નાના મૉડલની ઝડપે લખે છે.

મળતાં આવતાં મૉડલ

દરેક મૉડલ · દરેક Mac · તમારા Macની સરખામણી કરો

તમારા મૉડલ કાર્ડ કે README માટે

Runs on a Mac: Nemotron 3.5 Lightning 30B A3B Nemotron 3.5 Lightning 30B A3Bને સારી રીતે ચલાવતું સૌથી નાનું Mac બતાવે છે અને અહીં લિંક કરે છે.

[![Runs on a Mac](https://mlx.app/badge/run/nemotron-3.5-lightning-30b-a3b.svg)](https://mlx.app/run/nemotron-3.5-lightning-30b-a3b)

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.

શું Mac પર Nemotron 3.5 Lightning 30B A3B ચાલી શકે? મેમરી અને ઝડપ