લૉગ ઇનવૉલેટ બનાવો

શું Mac પર Nemotron 3 Super 120B A12B ચાલી શકે?

હા, 128 GB કે વધુ યુનિફાઇડ મેમરી સાથે. Nemotron 3 Super 120B A12Bમાં 120B પૅરામીટર છે, જેમાંથી દરેક ટોકન માટે 12B સક્રિય રહે છે; દરેક પ્રિસિઝન પર તેને કેટલી મેમરી જોઈએ અને દરેક Apple ચિપ તેને કેટલી ઝડપે ચલાવે છે, તે અહીં જુઓ.

4-બિટ પર મેમરી72.9 GBવેઇટ 67.5 GB + કૉન્ટેક્સ્ટ
સૌથી નાનું Mac128 GB4-બિટ · 23 Mac કૉન્ફિગરેશન
સૌથી ઝડપી Mac53–94ટોકન/સેકન્ડ · M2 Ultra 128 GB (અંદાજ)

દરેક પ્રિસિઝન પર મેમરી

વર્ઝનવેઇટકૉન્ટેક્સ્ટ સાથેસૌથી નાનું Mac
8-બિટ128 GB138 GB192 GB
6-બિટ97.5 GB105 GB192 GB
4-બિટ67.5 GB72.9 GB128 GB
3-બિટ ઓછી ગુણવત્તા52.5 GB56.7 GB96 GB
2-બિટ ઓછી ગુણવત્તા37.5 GB40.5 GB64 GB

દરેક Apple ચિપ પર

દરેક ચિપની Nemotron 3 Super 120B A12B ચલાવતી સૌથી નાની મેમરી સાઇઝ, તેમાં સમાતું શ્રેષ્ઠ વર્ઝન, અને લખવાની અપેક્ષિત ઝડપ.

ચિપજરૂરવર્ઝનટોકન/સેકન્ડ
M6કોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M5 Ultra256 GB8-બિટ સારું ચાલે છે42–75
M5 Max128 GB4-બિટ સારું ચાલે છે41–72
M5 Pro64 GB2-બિટ સારું ચાલે છે36–65
M5કોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M4 Max128 GB4-બિટ સારું ચાલે છે36–64
M4 Pro64 GB2-બિટ સારું ચાલે છે32–57
M4કોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M3 Ultra256 GB8-બિટ સારું ચાલે છે29–51
M3 Max128 GB4-બિટ સારું ચાલે છે26–47
M3 Proકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M3કોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M2 Ultra128 GB4-બિટ સારું ચાલે છે53–94
M2 Max64 GB2-બિટ સારું ચાલે છે47–84
M2 Proકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M2કોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M1 Ultra128 GB4-બિટ સારું ચાલે છે53–94
M1 Max64 GB2-બિટ સારું ચાલે છે47–84
M1 Proકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M1કોઈ સાઇઝ સમાતી નથીબહુ મોટું–

તેને કેવી રીતે ચલાવવું

  1. સરળ રીત: MLX Harness ડાઉનલોડ કરો, જે મફત અને ઓપન સોર્સ છે. Nemotron 3 Super 120B A12B શોધો, તમારા Macમાં સમાતું વર્ઝન ડાઉનલોડ કરો, અને ચૅટ કરો. તે OpenAI-compatible API દ્વારા આ મૉડલ તમારી બીજી ઍપને પણ આપે છે.MLX Harness ડાઉનલોડ કરોમફત · Apple Silicon · macOS 14.5 કે પછીનું
  2. Terminalમાં Appleના MLX સાથે:pip install mlx-lmmlx_lm.chat --model mlx-community/NVIDIA-Nemotron-3-Super-120B-A12B-4bitબિલ્ડ: Hugging Face પર mlx-community/NVIDIA-Nemotron-3-Super-120B-A12B-4bit. બીજાં પ્રિસિઝન તેની બાજુમાં જ છે.

સ્ટેપ બાય સ્ટેપ: Mac પર LLM ડાઉનલોડ કરો અને ચલાવો · MLX Harness કેવી રીતે વાપરવું · MLX વિ. Ollama વિ. llama.cpp

Nemotron 3 Super 120B A12B વિશે

બનાવનારNVIDIA
પૅરામીટર120B કુલ · 12B સક્રિય (mixture of experts)
કૉન્ટેક્સ્ટ256K ટોકન
લાઇસન્સNVIDIA Nemotron Open Model License
રિલીઝ2026-03
ઇનપુટટેક્સ્ટ
વેઇટnvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16

પ્રશ્નો

Nemotron 3 Super 120B A12Bને કેટલી મેમરી જોઈએ?
4-બિટ પર આશરે 67.5 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 72.9 GB. Mac પર એનો અર્થ 128 GB કે વધુ યુનિફાઇડ મેમરી, કારણ કે ડિફૉલ્ટ રીતે macOS GPUને તેનો આશરે 75% ભાગ વાપરવા દે છે.
Mac પર Nemotron 3 Super 120B A12B કેટલું ઝડપી ચાલે છે?
લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 128 GBવાળું M2 Ultra છે, સેકન્ડના આશરે 53–94 ટોકન (4-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 128 GBવાળું M2 Ultra, આશરે 53–94 સુધી પહોંચે છે.
Nemotron 3 Super 120B A12B તેની સાઇઝના પ્રમાણમાં ઝડપી કેમ ચાલે છે?
તે mixture-of-experts મૉડલ છે: તે મેમરીમાં 120B પૅરામીટર રાખે છે, પણ દરેક ટોકન માટે ફક્ત 12B વાંચે છે, એટલે તે ઘણા નાના મૉડલની ઝડપે લખે છે.

મળતાં આવતાં મૉડલ

દરેક મૉડલ · દરેક Mac · તમારા Macની સરખામણી કરો

તમારા મૉડલ કાર્ડ કે README માટે

Runs on a Mac: Nemotron 3 Super 120B A12B Nemotron 3 Super 120B A12Bને સારી રીતે ચલાવતું સૌથી નાનું Mac બતાવે છે અને અહીં લિંક કરે છે.

[![Runs on a Mac](https://mlx.app/badge/run/nemotron-3-super-120b-a12b.svg)](https://mlx.app/run/nemotron-3-super-120b-a12b)

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.

શું Mac પર Nemotron 3 Super 120B A12B ચાલી શકે? મેમરી અને ઝડપ