Llama 4 Scout 17B-16E Instructને કેટલી મેમરી જોઈએ?

4-બિટ પર આશરે 61.3 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 66.2 GB. Mac પર એનો અર્થ 96 GB કે વધુ યુનિફાઇડ મેમરી, કારણ કે ડિફૉલ્ટ રીતે macOS GPUને તેનો આશરે 75% ભાગ વાપરવા દે છે.

Mac પર Llama 4 Scout 17B-16E Instruct કેટલું ઝડપી ચાલે છે?

લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 96 GBવાળું M5 Ultra છે, સેકન્ડના આશરે 56–100 ટોકન (4-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 96 GBવાળું M5 Ultra, આશરે 56–100 સુધી પહોંચે છે.

Llama 4 Scout 17B-16E Instruct તેની સાઇઝના પ્રમાણમાં ઝડપી કેમ ચાલે છે?

તે mixture-of-experts મૉડલ છે: તે મેમરીમાં 109B પૅરામીટર રાખે છે, પણ દરેક ટોકન માટે ફક્ત 17B વાંચે છે, એટલે તે ઘણા નાના મૉડલની ઝડપે લખે છે.

શું Mac પર Llama 4 Scout 17B-16E Instruct ચાલી શકે? મેમરી અને ઝડપ

દરેક પ્રિસિઝન પર મેમરી

વર્ઝન	વેઇટ	કૉન્ટેક્સ્ટ સાથે	સૌથી નાનું Mac
8-બિટ	116 GB	125 GB	192 GB
6-બિટ	88.6 GB	95.7 GB	128 GB
4-બિટ	61.3 GB	66.2 GB	96 GB
3-બિટ ઓછી ગુણવત્તા	47.7 GB	51.5 GB	96 GB
2-બિટ ઓછી ગુણવત્તા	34.1 GB	36.8 GB	64 GB

દરેક Apple ચિપ પર

દરેક ચિપની Llama 4 Scout 17B-16E Instruct ચલાવતી સૌથી નાની મેમરી સાઇઝ, તેમાં સમાતું શ્રેષ્ઠ વર્ઝન, અને લખવાની અપેક્ષિત ઝડપ.

ચિપ	જરૂર	વર્ઝન	ટોકન/સેકન્ડ
M6	કોઈ સાઇઝ સમાતી નથી	બહુ મોટું	–
M5 Ultra	96 GB	4-બિટ સારું ચાલે છે	56–100
M5 Max	128 GB	6-બિટ સારું ચાલે છે	20–36
M5 Pro	64 GB	2-બિટ સારું ચાલે છે	26–46
M5	કોઈ સાઇઝ સમાતી નથી	બહુ મોટું	–
M4 Max	128 GB	6-બિટ સારું ચાલે છે	18–32
M4 Pro	64 GB	2-બિટ સારું ચાલે છે	23–41
M4	કોઈ સાઇઝ સમાતી નથી	બહુ મોટું	–
M3 Ultra	96 GB	4-બિટ સારું ચાલે છે	38–68
M3 Max	96 GB	4-બિટ સારું ચાલે છે	14–25
M3 Pro	કોઈ સાઇઝ સમાતી નથી	બહુ મોટું	–
M3	કોઈ સાઇઝ સમાતી નથી	બહુ મોટું	–
M2 Ultra	128 GB	6-બિટ સારું ચાલે છે	26–46
M2 Max	96 GB	4-બિટ સારું ચાલે છે	19–33
M2 Pro	કોઈ સાઇઝ સમાતી નથી	બહુ મોટું	–
M2	કોઈ સાઇઝ સમાતી નથી	બહુ મોટું	–
M1 Ultra	128 GB	6-બિટ સારું ચાલે છે	26–46
M1 Max	64 GB	2-બિટ સારું ચાલે છે	34–60
M1 Pro	કોઈ સાઇઝ સમાતી નથી	બહુ મોટું	–
M1	કોઈ સાઇઝ સમાતી નથી	બહુ મોટું	–

તેને કેવી રીતે ચલાવવું

સરળ રીત: MLX Harness ડાઉનલોડ કરો, જે મફત અને ઓપન સોર્સ છે. Llama 4 Scout 17B-16E Instruct શોધો, તમારા Macમાં સમાતું વર્ઝન ડાઉનલોડ કરો, અને ચૅટ કરો. તે OpenAI-compatible API દ્વારા આ મૉડલ તમારી બીજી ઍપને પણ આપે છે.MLX Harness ડાઉનલોડ કરોમફત · Apple Silicon · macOS 14.5 કે પછીનું
Terminalમાં Appleના MLX સાથે:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-4-Scout-17B-16E-Instruct-4bitબિલ્ડ: Hugging Face પર mlx-community/Llama-4-Scout-17B-16E-Instruct-4bit. બીજાં પ્રિસિઝન તેની બાજુમાં જ છે.

સ્ટેપ બાય સ્ટેપ: Mac પર LLM ડાઉનલોડ કરો અને ચલાવો · MLX Harness કેવી રીતે વાપરવું · MLX વિ. Ollama વિ. llama.cpp

Llama 4 Scout 17B-16E Instruct વિશે

બનાવનાર	Meta
પૅરામીટર	109B કુલ · 17B સક્રિય (mixture of experts)
કૉન્ટેક્સ્ટ	10M ટોકન
લાઇસન્સ	Llama 4 Community License
રિલીઝ	2025-04
ઇનપુટ	ટેક્સ્ટ અને ઇમેજ
ઇન્ટેલિજન્સ	Artificial Analysis Intelligence Index પર 6.5
વેઇટ	meta-llama/Llama-4-Scout-17B-16E-Instruct

પ્રશ્નો

Llama 4 Scout 17B-16E Instructને કેટલી મેમરી જોઈએ?: 4-બિટ પર આશરે 61.3 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 66.2 GB. Mac પર એનો અર્થ 96 GB કે વધુ યુનિફાઇડ મેમરી, કારણ કે ડિફૉલ્ટ રીતે macOS GPUને તેનો આશરે 75% ભાગ વાપરવા દે છે.
Mac પર Llama 4 Scout 17B-16E Instruct કેટલું ઝડપી ચાલે છે?: લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 96 GBવાળું M5 Ultra છે, સેકન્ડના આશરે 56–100 ટોકન (4-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 96 GBવાળું M5 Ultra, આશરે 56–100 સુધી પહોંચે છે.
Llama 4 Scout 17B-16E Instruct તેની સાઇઝના પ્રમાણમાં ઝડપી કેમ ચાલે છે?: તે mixture-of-experts મૉડલ છે: તે મેમરીમાં 109B પૅરામીટર રાખે છે, પણ દરેક ટોકન માટે ફક્ત 17B વાંચે છે, એટલે તે ઘણા નાના મૉડલની ઝડપે લખે છે.

મળતાં આવતાં મૉડલ

દરેક મૉડલ · દરેક Mac · તમારા Macની સરખામણી કરો

તમારા મૉડલ કાર્ડ કે README માટે

Llama 4 Scout 17B-16E Instructને સારી રીતે ચલાવતું સૌથી નાનું Mac બતાવે છે અને અહીં લિંક કરે છે.

[![Runs on a Mac](https://mlx.app/badge/run/llama-4-scout.svg)](https://mlx.app/run/llama-4-scout)

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.