લૉગ ઇનવૉલેટ બનાવો

શું Mac પર Hy-Memory-30B-A3B ચાલી શકે?

હા, 32 GB કે વધુ યુનિફાઇડ મેમરી સાથે. Hy-Memory-30B-A3Bમાં 30.1B પૅરામીટર છે, જેમાંથી દરેક ટોકન માટે 3.2B સક્રિય રહે છે; દરેક પ્રિસિઝન પર તેને કેટલી મેમરી જોઈએ અને દરેક Apple ચિપ તેને કેટલી ઝડપે ચલાવે છે, તે અહીં જુઓ.

અપડેટ

4-બિટ પર મેમરી18.4 GBવેઇટ 16.9 GB + કૉન્ટેક્સ્ટ
સૌથી નાનું Mac32 GB4-બિટ · 55 Mac કૉન્ફિગરેશન
સૌથી ઝડપી Mac159–282ટોકન/સેકન્ડ · M5 Ultra 96 GB (અંદાજ)

દરેક પ્રિસિઝન પર મેમરી

વર્ઝનવેઇટકૉન્ટેક્સ્ટ સાથેસૌથી નાનું Mac
8-બિટ31.9 GB34.5 GB48 GB
6-બિટ24.4 GB26.4 GB36 GB
4-બિટ16.9 GB18.4 GB32 GB
3-બિટ ઓછી ગુણવત્તા13.2 GB14.7 GB24 GB
2-બિટ ઓછી ગુણવત્તા9.4 GB10.9 GB16 GB

દરેક Apple ચિપ પર

દરેક ચિપની Hy-Memory-30B-A3B ચલાવતી સૌથી નાની મેમરી સાઇઝ, તેમાં સમાતું શ્રેષ્ઠ વર્ઝન, અને લખવાની અપેક્ષિત ઝડપ.

ચિપજરૂરવર્ઝનટોકન/સેકન્ડ
M632 GB4-બિટ સારું ચાલે છે43–76
M5 Ultra96 GB8-બિટ સારું ચાલે છે159–282
M5 Max36 GB6-બિટ સારું ચાલે છે80–142
M5 Pro48 GB8-બિટ સારું ચાલે છે41–72
M532 GB4-બિટ સારું ચાલે છે38–68
M4 Max36 GB6-બિટ સારું ચાલે છે71–126
M4 Pro48 GB8-બિટ સારું ચાલે છે36–64
M432 GB4-બિટ સારું ચાલે છે30–53
M3 Ultra96 GB8-બિટ સારું ચાલે છે108–193
M3 Max36 GB6-બિટ સારું ચાલે છે52–92
M3 Pro36 GB6-બિટ સારું ચાલે છે26–46
M316 GB2-બિટ સારું ચાલે છે45–80
M2 Ultra64 GB8-બિટ સારું ચાલે છે106–188
M2 Max32 GB4-બિટ સારું ચાલે છે100–178
M2 Pro32 GB4-બિટ સારું ચાલે છે50–89
M216 GB2-બિટ સારું ચાલે છે45–80
M1 Ultra64 GB8-બિટ સારું ચાલે છે106–188
M1 Max32 GB4-બિટ સારું ચાલે છે100–178
M1 Pro32 GB4-બિટ સારું ચાલે છે50–89
M116 GB2-બિટ સારું ચાલે છે31–54

તેને કેવી રીતે ચલાવવું

  1. સરળ રીત: MLX Harness ડાઉનલોડ કરો, જે મફત અને ઓપન સોર્સ છે. Hy-Memory-30B-A3B શોધો, તમારા Macમાં સમાતું વર્ઝન ડાઉનલોડ કરો, અને ચૅટ કરો. તે OpenAI-compatible API દ્વારા આ મૉડલ તમારી બીજી ઍપને પણ આપે છે.MLX Harness ડાઉનલોડ કરોમફત · Apple Silicon · macOS 14.5 કે પછીનું
  2. Terminalમાં Appleના MLX સાથે:pip install mlx-lmmlx_lm.chat --model mlx-community/Hy-Memory-30B-A3B-4bit --trust-remote-code--trust-remote-code થી mlx-lm આ બિલ્ડ સાથે આવતો Python કોડ ચલાવી શકે છે, જેના વિના મોડલ લોડ થતું નથી.બિલ્ડ: Hugging Face પર mlx-community/Hy-Memory-30B-A3B-4bit. બીજાં પ્રિસિઝન તેની બાજુમાં જ છે.

સ્ટેપ બાય સ્ટેપ: Mac પર LLM ડાઉનલોડ કરો અને ચલાવો · MLX Harness કેવી રીતે વાપરવું · MLX વિ. Ollama વિ. llama.cpp

Hy-Memory-30B-A3B વિશે

બનાવનારTencent
પૅરામીટર30.1B કુલ · 3.2B સક્રિય (mixture of experts)
કૉન્ટેક્સ્ટ256K ટોકન
લાઇસન્સApache-2.0
રિલીઝ2026-10
ઇનપુટટેક્સ્ટ
વેઇટtencent/Hy-Memory-30B-A3B

પ્રશ્નો

Hy-Memory-30B-A3Bને કેટલી મેમરી જોઈએ?
4-બિટ પર આશરે 16.9 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 18.4 GB. Mac પર એનો અર્થ 32 GB કે વધુ યુનિફાઇડ મેમરી, કારણ કે ડિફૉલ્ટ રીતે macOS GPUને તેનો આશરે 75% ભાગ વાપરવા દે છે.
Mac પર Hy-Memory-30B-A3B કેટલું ઝડપી ચાલે છે?
લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 96 GBવાળું M5 Ultra છે, સેકન્ડના આશરે 159–282 ટોકન (8-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 32 GBવાળું M2 Max, આશરે 100–178 સુધી પહોંચે છે.
Hy-Memory-30B-A3B તેની સાઇઝના પ્રમાણમાં ઝડપી કેમ ચાલે છે?
તે mixture-of-experts મૉડલ છે: તે મેમરીમાં 30.1B પૅરામીટર રાખે છે, પણ દરેક ટોકન માટે ફક્ત 3.2B વાંચે છે, એટલે તે ઘણા નાના મૉડલની ઝડપે લખે છે.

મળતાં આવતાં મૉડલ

દરેક મૉડલ · દરેક Mac · તમારા Macની સરખામણી કરો

તમારા મૉડલ કાર્ડ કે README માટે

Runs on a Mac: Hy-Memory-30B-A3B Hy-Memory-30B-A3Bને સારી રીતે ચલાવતું સૌથી નાનું Mac બતાવે છે અને અહીં લિંક કરે છે.

[![Runs on a Mac](https://mlx.app/badge/run/hy-memory-30b-a3b.svg)](https://mlx.app/run/hy-memory-30b-a3b)

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.

ઓપન ડેટા: mlx.app/data (JSON, CSV)

શું Mac પર Hy-Memory-30B-A3B ચાલી શકે? મેમરી અને ઝડપ