લૉગ ઇનવૉલેટ બનાવો

શું Mac પર Qwen3 Coder 30B A3B Instruct ચાલી શકે?

હા, 32 GB કે વધુ યુનિફાઇડ મેમરી સાથે. Qwen3 Coder 30B A3B Instructમાં 30.5B પૅરામીટર છે, જેમાંથી દરેક ટોકન માટે 3.3B સક્રિય રહે છે; દરેક પ્રિસિઝન પર તેને કેટલી મેમરી જોઈએ અને દરેક Apple ચિપ તેને કેટલી ઝડપે ચલાવે છે, તે અહીં જુઓ.

4-બિટ પર મેમરી18.7 GBવેઇટ 17.2 GB + કૉન્ટેક્સ્ટ
સૌથી નાનું Mac32 GB4-બિટ · 55 Mac કૉન્ફિગરેશન
સૌથી ઝડપી Mac154–274ટોકન/સેકન્ડ · M5 Ultra 96 GB (અંદાજ)

દરેક પ્રિસિઝન પર મેમરી

વર્ઝનવેઇટકૉન્ટેક્સ્ટ સાથેસૌથી નાનું Mac
8-બિટ32.4 GB35 GB48 GB
6-બિટ24.8 GB26.8 GB36 GB
4-બિટ17.2 GB18.7 GB32 GB
3-બિટ ઓછી ગુણવત્તા13.3 GB14.8 GB24 GB
2-બિટ ઓછી ગુણવત્તા9.5 GB11 GB16 GB

દરેક Apple ચિપ પર

દરેક ચિપની Qwen3 Coder 30B A3B Instruct ચલાવતી સૌથી નાની મેમરી સાઇઝ, તેમાં સમાતું શ્રેષ્ઠ વર્ઝન, અને લખવાની અપેક્ષિત ઝડપ.

ચિપજરૂરવર્ઝનટોકન/સેકન્ડ
M632 GB4-બિટ સારું ચાલે છે40–72
M5 Ultra96 GB8-બિટ સારું ચાલે છે154–274
M5 Max36 GB6-બિટ સારું ચાલે છે77–136
M5 Pro48 GB8-બિટ સારું ચાલે છે39–70
M532 GB4-બિટ સારું ચાલે છે36–64
M4 Max36 GB6-બિટ સારું ચાલે છે68–121
M4 Pro48 GB8-બિટ સારું ચાલે છે35–62
M432 GB4-બિટ સારું ચાલે છે28–51
M3 Ultra96 GB8-બિટ સારું ચાલે છે105–187
M3 Max36 GB6-બિટ સારું ચાલે છે50–89
M3 Pro36 GB6-બિટ સારું ચાલે છે25–44
M316 GB2-બિટ સારું ચાલે છે45–80
M2 Ultra64 GB8-બિટ સારું ચાલે છે103–183
M2 Max32 GB4-બિટ સારું ચાલે છે95–168
M2 Pro32 GB4-બિટ સારું ચાલે છે47–84
M216 GB2-બિટ સારું ચાલે છે45–80
M1 Ultra64 GB8-બિટ સારું ચાલે છે103–183
M1 Max32 GB4-બિટ સારું ચાલે છે95–168
M1 Pro32 GB4-બિટ સારું ચાલે છે47–84
M116 GB2-બિટ સારું ચાલે છે31–54

તેને કેવી રીતે ચલાવવું

  1. સરળ રીત: MLX Harness ડાઉનલોડ કરો, જે મફત અને ઓપન સોર્સ છે. Qwen3 Coder 30B A3B Instruct શોધો, તમારા Macમાં સમાતું વર્ઝન ડાઉનલોડ કરો, અને ચૅટ કરો. તે OpenAI-compatible API દ્વારા આ મૉડલ તમારી બીજી ઍપને પણ આપે છે.MLX Harness ડાઉનલોડ કરોમફત · Apple Silicon · macOS 14.5 કે પછીનું
  2. Terminalમાં Appleના MLX સાથે:pip install mlx-lmmlx_lm.chat --model mlx-community/Qwen3-Coder-30B-A3B-Instruct-4bitબિલ્ડ: Hugging Face પર mlx-community/Qwen3-Coder-30B-A3B-Instruct-4bit. બીજાં પ્રિસિઝન તેની બાજુમાં જ છે.

સ્ટેપ બાય સ્ટેપ: Mac પર LLM ડાઉનલોડ કરો અને ચલાવો · MLX Harness કેવી રીતે વાપરવું · MLX વિ. Ollama વિ. llama.cpp

Qwen3 Coder 30B A3B Instruct વિશે

બનાવનારQwen (Alibaba)
પૅરામીટર30.5B કુલ · 3.3B સક્રિય (mixture of experts)
કૉન્ટેક્સ્ટ256K ટોકન
લાઇસન્સApache-2.0
રિલીઝ2025-07
ઇનપુટટેક્સ્ટ
વેઇટQwen/Qwen3-Coder-30B-A3B-Instruct

પ્રશ્નો

Qwen3 Coder 30B A3B Instructને કેટલી મેમરી જોઈએ?
4-બિટ પર આશરે 17.2 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 18.7 GB. Mac પર એનો અર્થ 32 GB કે વધુ યુનિફાઇડ મેમરી, કારણ કે ડિફૉલ્ટ રીતે macOS GPUને તેનો આશરે 75% ભાગ વાપરવા દે છે.
Mac પર Qwen3 Coder 30B A3B Instruct કેટલું ઝડપી ચાલે છે?
લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 96 GBવાળું M5 Ultra છે, સેકન્ડના આશરે 154–274 ટોકન (8-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 32 GBવાળું M2 Max, આશરે 95–168 સુધી પહોંચે છે.
Qwen3 Coder 30B A3B Instruct તેની સાઇઝના પ્રમાણમાં ઝડપી કેમ ચાલે છે?
તે mixture-of-experts મૉડલ છે: તે મેમરીમાં 30.5B પૅરામીટર રાખે છે, પણ દરેક ટોકન માટે ફક્ત 3.3B વાંચે છે, એટલે તે ઘણા નાના મૉડલની ઝડપે લખે છે.

મળતાં આવતાં મૉડલ

દરેક મૉડલ · દરેક Mac · તમારા Macની સરખામણી કરો

તમારા મૉડલ કાર્ડ કે README માટે

Runs on a Mac: Qwen3 Coder 30B A3B Instruct Qwen3 Coder 30B A3B Instructને સારી રીતે ચલાવતું સૌથી નાનું Mac બતાવે છે અને અહીં લિંક કરે છે.

[![Runs on a Mac](https://mlx.app/badge/run/qwen3-coder-30b-a3b.svg)](https://mlx.app/run/qwen3-coder-30b-a3b)

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.

શું Mac પર Qwen3 Coder 30B A3B Instruct ચાલી શકે? મેમરી અને ઝડપ