Nemotron 3.5 Bolt 74B A9Bને કેટલી મેમરી જોઈએ?

4-બિટ પર આશરે 41.6 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 44.9 GB. Mac પર એનો અર્થ 64 GB કે વધુ યુનિફાઇડ મેમરી, કારણ કે ડિફૉલ્ટ રીતે macOS GPUને તેનો આશરે 75% ભાગ વાપરવા દે છે.

Mac પર Nemotron 3.5 Bolt 74B A9B કેટલું ઝડપી ચાલે છે?

લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 96 GBવાળું M5 Ultra છે, સેકન્ડના આશરે 74–132 ટોકન (6-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 64 GBવાળું M2 Ultra, આશરે 71–125 સુધી પહોંચે છે.

Nemotron 3.5 Bolt 74B A9B તેની સાઇઝના પ્રમાણમાં ઝડપી કેમ ચાલે છે?

તે mixture-of-experts મૉડલ છે: તે મેમરીમાં 74B પૅરામીટર રાખે છે, પણ દરેક ટોકન માટે ફક્ત 9B વાંચે છે, એટલે તે ઘણા નાના મૉડલની ઝડપે લખે છે.

શું Mac પર Nemotron 3.5 Bolt 74B A9B ચાલી શકે? મેમરી અને ઝડપ

દરેક પ્રિસિઝન પર મેમરી

વર્ઝન	વેઇટ	કૉન્ટેક્સ્ટ સાથે	સૌથી નાનું Mac
8-બિટ	78.6 GB	84.9 GB	128 GB
6-બિટ	60.1 GB	64.9 GB	96 GB
4-બિટ	41.6 GB	44.9 GB	64 GB
3-બિટ ઓછી ગુણવત્તા	32.4 GB	35 GB	48 GB
2-બિટ ઓછી ગુણવત્તા	23.1 GB	24.9 GB	36 GB

દરેક Apple ચિપ પર

દરેક ચિપની Nemotron 3.5 Bolt 74B A9B ચલાવતી સૌથી નાની મેમરી સાઇઝ, તેમાં સમાતું શ્રેષ્ઠ વર્ઝન, અને લખવાની અપેક્ષિત ઝડપ.

ચિપ	જરૂર	વર્ઝન	ટોકન/સેકન્ડ
M6	32 GB	2-બિટ માંડ માંડ	27–49
M5 Ultra	96 GB	6-બિટ સારું ચાલે છે	74–132
M5 Max	64 GB	4-બિટ સારું ચાલે છે	54–96
M5 Pro	64 GB	4-બિટ સારું ચાલે છે	27–48
M5	32 GB	2-બિટ માંડ માંડ	25–44
M4 Max	64 GB	4-બિટ સારું ચાલે છે	48–86
M4 Pro	64 GB	4-બિટ સારું ચાલે છે	24–43
M4	32 GB	2-બિટ માંડ માંડ	19–34
M3 Ultra	96 GB	6-બિટ સારું ચાલે છે	50–90
M3 Max	64 GB	4-બિટ સારું ચાલે છે	35–63
M3 Pro	36 GB	2-બિટ સારું ચાલે છે	24–43
M3	કોઈ સાઇઝ સમાતી નથી	બહુ મોટું	–
M2 Ultra	64 GB	4-બિટ સારું ચાલે છે	71–125
M2 Max	64 GB	4-બિટ સારું ચાલે છે	35–63
M2 Pro	32 GB	2-બિટ માંડ માંડ	32–57
M2	કોઈ સાઇઝ સમાતી નથી	બહુ મોટું	–
M1 Ultra	64 GB	4-બિટ સારું ચાલે છે	71–125
M1 Max	64 GB	4-બિટ સારું ચાલે છે	35–63
M1 Pro	32 GB	2-બિટ માંડ માંડ	32–57
M1	કોઈ સાઇઝ સમાતી નથી	બહુ મોટું	–

તેને કેવી રીતે ચલાવવું

સરળ રીત: MLX Harness ડાઉનલોડ કરો, જે મફત અને ઓપન સોર્સ છે. Nemotron 3.5 Bolt 74B A9B શોધો, તમારા Macમાં સમાતું વર્ઝન ડાઉનલોડ કરો, અને ચૅટ કરો. તે OpenAI-compatible API દ્વારા આ મૉડલ તમારી બીજી ઍપને પણ આપે છે.MLX Harness ડાઉનલોડ કરોમફત · Apple Silicon · macOS 14.5 કે પછીનું
Terminalમાં Appleના MLX સાથે: હજી કોઈ કમ્યુનિટી MLX બિલ્ડ નથી, એટલે સત્તાવાર વેઇટમાંથી જાતે બનાવો:pip install mlx-lmmlx_lm.convert --hf-path nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 -q

સ્ટેપ બાય સ્ટેપ: Mac પર LLM ડાઉનલોડ કરો અને ચલાવો · MLX Harness કેવી રીતે વાપરવું · MLX વિ. Ollama વિ. llama.cpp

Nemotron 3.5 Bolt 74B A9B વિશે

બનાવનાર	NVIDIA
પૅરામીટર	74B કુલ · 9B સક્રિય (mixture of experts)
કૉન્ટેક્સ્ટ	256K ટોકન
લાઇસન્સ	OpenMDW-1.1
રિલીઝ	2026-10
ઇનપુટ	ટેક્સ્ટ અને ઇમેજ
ઇન્ટેલિજન્સ	Artificial Analysis Intelligence Index પર 21.4
વેઇટ	nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16

પ્રશ્નો

Nemotron 3.5 Bolt 74B A9Bને કેટલી મેમરી જોઈએ?: 4-બિટ પર આશરે 41.6 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 44.9 GB. Mac પર એનો અર્થ 64 GB કે વધુ યુનિફાઇડ મેમરી, કારણ કે ડિફૉલ્ટ રીતે macOS GPUને તેનો આશરે 75% ભાગ વાપરવા દે છે.
Mac પર Nemotron 3.5 Bolt 74B A9B કેટલું ઝડપી ચાલે છે?: લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 96 GBવાળું M5 Ultra છે, સેકન્ડના આશરે 74–132 ટોકન (6-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 64 GBવાળું M2 Ultra, આશરે 71–125 સુધી પહોંચે છે.
Nemotron 3.5 Bolt 74B A9B તેની સાઇઝના પ્રમાણમાં ઝડપી કેમ ચાલે છે?: તે mixture-of-experts મૉડલ છે: તે મેમરીમાં 74B પૅરામીટર રાખે છે, પણ દરેક ટોકન માટે ફક્ત 9B વાંચે છે, એટલે તે ઘણા નાના મૉડલની ઝડપે લખે છે.

મળતાં આવતાં મૉડલ

દરેક મૉડલ · દરેક Mac · તમારા Macની સરખામણી કરો

તમારા મૉડલ કાર્ડ કે README માટે

Nemotron 3.5 Bolt 74B A9Bને સારી રીતે ચલાવતું સૌથી નાનું Mac બતાવે છે અને અહીં લિંક કરે છે.

[![Runs on a Mac](https://mlx.app/badge/run/nemotron-3.5-bolt-74b-a9b.svg)](https://mlx.app/run/nemotron-3.5-bolt-74b-a9b)

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.