લૉગ ઇનવૉલેટ બનાવો

શું Mac પર Llama 4 Maverick 17B-128E Instruct ચાલી શકે?

હા, 512 GB કે વધુ યુનિફાઇડ મેમરી સાથે. Llama 4 Maverick 17B-128E Instructમાં 400B પૅરામીટર છે, જેમાંથી દરેક ટોકન માટે 17B સક્રિય રહે છે; દરેક પ્રિસિઝન પર તેને કેટલી મેમરી જોઈએ અને દરેક Apple ચિપ તેને કેટલી ઝડપે ચલાવે છે, તે અહીં જુઓ.

4-બિટ પર મેમરી243 GBવેઇટ 225 GB + કૉન્ટેક્સ્ટ
સૌથી નાનું Mac512 GB6-બિટ · 5 Mac કૉન્ફિગરેશન
સૌથી ઝડપી Mac39–70ટોકન/સેકન્ડ · M5 Ultra 512 GB (અંદાજ)

દરેક પ્રિસિઝન પર મેમરી

વર્ઝનવેઇટકૉન્ટેક્સ્ટ સાથેસૌથી નાનું Mac
8-બિટ425 GB459 GBકોઈ પણ Mac કરતાં વધુ
6-બિટ325 GB351 GB512 GB
4-બિટ225 GB243 GB512 GB
3-બિટ ઓછી ગુણવત્તા175 GB189 GB256 GB
2-બિટ ઓછી ગુણવત્તા125 GB135 GB192 GB

દરેક Apple ચિપ પર

દરેક ચિપની Llama 4 Maverick 17B-128E Instruct ચલાવતી સૌથી નાની મેમરી સાઇઝ, તેમાં સમાતું શ્રેષ્ઠ વર્ઝન, અને લખવાની અપેક્ષિત ઝડપ.

ચિપજરૂરવર્ઝનટોકન/સેકન્ડ
M6કોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M5 Ultra512 GB6-બિટ સારું ચાલે છે39–70
M5 Maxકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M5 Proકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M5કોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M4 Maxકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M4 Proકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M4કોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M3 Ultra512 GB6-બિટ સારું ચાલે છે27–47
M3 Maxકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M3 Proકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M3કોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M2 Ultra192 GB2-બિટ સારું ચાલે છે68–121
M2 Maxકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M2 Proકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M2કોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M1 Ultraકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M1 Maxકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M1 Proકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M1કોઈ સાઇઝ સમાતી નથીબહુ મોટું–

તેને કેવી રીતે ચલાવવું

  1. સરળ રીત: MLX Harness ડાઉનલોડ કરો, જે મફત અને ઓપન સોર્સ છે. Llama 4 Maverick 17B-128E Instruct શોધો, તમારા Macમાં સમાતું વર્ઝન ડાઉનલોડ કરો, અને ચૅટ કરો. તે OpenAI-compatible API દ્વારા આ મૉડલ તમારી બીજી ઍપને પણ આપે છે.MLX Harness ડાઉનલોડ કરોમફત · Apple Silicon · macOS 14.5 કે પછીનું
  2. Terminalમાં Appleના MLX સાથે:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-4-Maverick-17B-128E-Instruct-4bitબિલ્ડ: Hugging Face પર mlx-community/Llama-4-Maverick-17B-128E-Instruct-4bit. બીજાં પ્રિસિઝન તેની બાજુમાં જ છે.

સ્ટેપ બાય સ્ટેપ: Mac પર LLM ડાઉનલોડ કરો અને ચલાવો · MLX Harness કેવી રીતે વાપરવું · MLX વિ. Ollama વિ. llama.cpp

Llama 4 Maverick 17B-128E Instruct વિશે

બનાવનારMeta
પૅરામીટર400B કુલ · 17B સક્રિય (mixture of experts)
કૉન્ટેક્સ્ટ1M ટોકન
લાઇસન્સLlama 4 Community License
રિલીઝ2025-04
ઇનપુટટેક્સ્ટ અને ઇમેજ
ઇન્ટેલિજન્સArtificial Analysis Intelligence Index પર 9.3
વેઇટmeta-llama/Llama-4-Maverick-17B-128E-Instruct

પ્રશ્નો

Llama 4 Maverick 17B-128E Instructને કેટલી મેમરી જોઈએ?
4-બિટ પર આશરે 225 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 243 GB. Mac પર એનો અર્થ 512 GB કે વધુ યુનિફાઇડ મેમરી, કારણ કે ડિફૉલ્ટ રીતે macOS GPUને તેનો આશરે 75% ભાગ વાપરવા દે છે.
Mac પર Llama 4 Maverick 17B-128E Instruct કેટલું ઝડપી ચાલે છે?
લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 512 GBવાળું M5 Ultra છે, સેકન્ડના આશરે 39–70 ટોકન (6-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 512 GBવાળું M5 Ultra, આશરે 39–70 સુધી પહોંચે છે.
Llama 4 Maverick 17B-128E Instruct તેની સાઇઝના પ્રમાણમાં ઝડપી કેમ ચાલે છે?
તે mixture-of-experts મૉડલ છે: તે મેમરીમાં 400B પૅરામીટર રાખે છે, પણ દરેક ટોકન માટે ફક્ત 17B વાંચે છે, એટલે તે ઘણા નાના મૉડલની ઝડપે લખે છે.

મળતાં આવતાં મૉડલ

દરેક મૉડલ · દરેક Mac · તમારા Macની સરખામણી કરો

તમારા મૉડલ કાર્ડ કે README માટે

Runs on a Mac: Llama 4 Maverick 17B-128E Instruct Llama 4 Maverick 17B-128E Instructને સારી રીતે ચલાવતું સૌથી નાનું Mac બતાવે છે અને અહીં લિંક કરે છે.

[![Runs on a Mac](https://mlx.app/badge/run/llama-4-maverick.svg)](https://mlx.app/run/llama-4-maverick)

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.

શું Mac પર Llama 4 Maverick 17B-128E Instruct ચાલી શકે? મેમરી અને ઝડપ