Nemotron 3 Nano 30B A3Bને કેટલી મેમરી જોઈએ?

4-બિટ પર આશરે 16.9 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 18.4 GB. Mac પર એનો અર્થ 32 GB કે વધુ યુનિફાઇડ મેમરી, કારણ કે ડિફૉલ્ટ રીતે macOS GPUને તેનો આશરે 75% ભાગ વાપરવા દે છે.

Mac પર Nemotron 3 Nano 30B A3B કેટલું ઝડપી ચાલે છે?

લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 96 GBવાળું M5 Ultra છે, સેકન્ડના આશરે 146–259 ટોકન (8-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 32 GBવાળું M2 Max, આશરે 90–160 સુધી પહોંચે છે.

Nemotron 3 Nano 30B A3B તેની સાઇઝના પ્રમાણમાં ઝડપી કેમ ચાલે છે?

તે mixture-of-experts મૉડલ છે: તે મેમરીમાં 30B પૅરામીટર રાખે છે, પણ દરેક ટોકન માટે ફક્ત 3.5B વાંચે છે, એટલે તે ઘણા નાના મૉડલની ઝડપે લખે છે.

શું Mac પર Nemotron 3 Nano 30B A3B ચાલી શકે? મેમરી અને ઝડપ

દરેક પ્રિસિઝન પર મેમરી

વર્ઝન	વેઇટ	કૉન્ટેક્સ્ટ સાથે	સૌથી નાનું Mac
8-બિટ	31.9 GB	34.5 GB	48 GB
6-બિટ	24.4 GB	26.4 GB	36 GB
4-બિટ	16.9 GB	18.4 GB	32 GB
3-બિટ ઓછી ગુણવત્તા	13.1 GB	14.6 GB	24 GB
2-બિટ ઓછી ગુણવત્તા	9.4 GB	10.9 GB	16 GB

દરેક Apple ચિપ પર

દરેક ચિપની Nemotron 3 Nano 30B A3B ચલાવતી સૌથી નાની મેમરી સાઇઝ, તેમાં સમાતું શ્રેષ્ઠ વર્ઝન, અને લખવાની અપેક્ષિત ઝડપ.

ચિપ	જરૂર	વર્ઝન	ટોકન/સેકન્ડ
M6	32 GB	4-બિટ સારું ચાલે છે	38–68
M5 Ultra	96 GB	8-બિટ સારું ચાલે છે	146–259
M5 Max	36 GB	6-બિટ સારું ચાલે છે	74–131
M5 Pro	48 GB	8-બિટ સારું ચાલે છે	37–66
M5	32 GB	4-બિટ સારું ચાલે છે	34–61
M4 Max	36 GB	6-બિટ સારું ચાલે છે	66–117
M4 Pro	48 GB	8-બિટ સારું ચાલે છે	33–59
M4	32 GB	4-બિટ સારું ચાલે છે	27–48
M3 Ultra	96 GB	8-બિટ સારું ચાલે છે	100–177
M3 Max	36 GB	6-બિટ સારું ચાલે છે	48–86
M3 Pro	36 GB	6-બિટ સારું ચાલે છે	24–43
M3	16 GB	2-બિટ સારું ચાલે છે	41–73
M2 Ultra	64 GB	8-બિટ સારું ચાલે છે	97–173
M2 Max	32 GB	4-બિટ સારું ચાલે છે	90–160
M2 Pro	32 GB	4-બિટ સારું ચાલે છે	45–80
M2	16 GB	2-બિટ સારું ચાલે છે	41–73
M1 Ultra	64 GB	8-બિટ સારું ચાલે છે	97–173
M1 Max	32 GB	4-બિટ સારું ચાલે છે	90–160
M1 Pro	32 GB	4-બિટ સારું ચાલે છે	45–80
M1	16 GB	2-બિટ સારું ચાલે છે	28–49

તેને કેવી રીતે ચલાવવું

સરળ રીત: MLX Harness ડાઉનલોડ કરો, જે મફત અને ઓપન સોર્સ છે. Nemotron 3 Nano 30B A3B શોધો, તમારા Macમાં સમાતું વર્ઝન ડાઉનલોડ કરો, અને ચૅટ કરો. તે OpenAI-compatible API દ્વારા આ મૉડલ તમારી બીજી ઍપને પણ આપે છે.MLX Harness ડાઉનલોડ કરોમફત · Apple Silicon · macOS 14.5 કે પછીનું
Terminalમાં Appleના MLX સાથે:pip install mlx-lmmlx_lm.chat --model mlx-community/NVIDIA-Nemotron-3-Nano-30B-A3B-4bitબિલ્ડ: Hugging Face પર mlx-community/NVIDIA-Nemotron-3-Nano-30B-A3B-4bit. બીજાં પ્રિસિઝન તેની બાજુમાં જ છે.

સ્ટેપ બાય સ્ટેપ: Mac પર LLM ડાઉનલોડ કરો અને ચલાવો · MLX Harness કેવી રીતે વાપરવું · MLX વિ. Ollama વિ. llama.cpp

Nemotron 3 Nano 30B A3B વિશે

બનાવનાર	NVIDIA
પૅરામીટર	30B કુલ · 3.5B સક્રિય (mixture of experts)
કૉન્ટેક્સ્ટ	256K ટોકન
લાઇસન્સ	NVIDIA Nemotron Open Model License
રિલીઝ	2025-12
ઇનપુટ	ટેક્સ્ટ
ઇન્ટેલિજન્સ	Artificial Analysis Intelligence Index પર 8.9
વેઇટ	nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16

પ્રશ્નો

Nemotron 3 Nano 30B A3Bને કેટલી મેમરી જોઈએ?: 4-બિટ પર આશરે 16.9 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 18.4 GB. Mac પર એનો અર્થ 32 GB કે વધુ યુનિફાઇડ મેમરી, કારણ કે ડિફૉલ્ટ રીતે macOS GPUને તેનો આશરે 75% ભાગ વાપરવા દે છે.
Mac પર Nemotron 3 Nano 30B A3B કેટલું ઝડપી ચાલે છે?: લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 96 GBવાળું M5 Ultra છે, સેકન્ડના આશરે 146–259 ટોકન (8-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 32 GBવાળું M2 Max, આશરે 90–160 સુધી પહોંચે છે.
Nemotron 3 Nano 30B A3B તેની સાઇઝના પ્રમાણમાં ઝડપી કેમ ચાલે છે?: તે mixture-of-experts મૉડલ છે: તે મેમરીમાં 30B પૅરામીટર રાખે છે, પણ દરેક ટોકન માટે ફક્ત 3.5B વાંચે છે, એટલે તે ઘણા નાના મૉડલની ઝડપે લખે છે.

મળતાં આવતાં મૉડલ

દરેક મૉડલ · દરેક Mac · તમારા Macની સરખામણી કરો

તમારા મૉડલ કાર્ડ કે README માટે

Nemotron 3 Nano 30B A3Bને સારી રીતે ચલાવતું સૌથી નાનું Mac બતાવે છે અને અહીં લિંક કરે છે.

[![Runs on a Mac](https://mlx.app/badge/run/nemotron-3-nano-30b-a3b.svg)](https://mlx.app/run/nemotron-3-nano-30b-a3b)

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.