દરેક પ્રિસિઝન પર મેમરી
| વર્ઝન | વેઇટ | કૉન્ટેક્સ્ટ સાથે | સૌથી નાનું Mac |
|---|---|---|---|
| 8-બિટ | 74.4 GB | 80.4 GB | 128 GB |
| 6-બિટ | 56.9 GB | 61.5 GB | 96 GB |
| 4-બિટ | 39.4 GB | 42.6 GB | 64 GB |
| 3-બિટ ઓછી ગુણવત્તા | 30.6 GB | 33 GB | 48 GB |
| 2-બિટ ઓછી ગુણવત્તા | 21.9 GB | 23.7 GB | 32 GB |
દરેક Apple ચિપ પર
દરેક ચિપની Llama 3.3 70B Instruct ચલાવતી સૌથી નાની મેમરી સાઇઝ, તેમાં સમાતું શ્રેષ્ઠ વર્ઝન, અને લખવાની અપેક્ષિત ઝડપ.
| ચિપ | જરૂર | વર્ઝન | ટોકન/સેકન્ડ |
|---|---|---|---|
| M6 | 32 GB | 2-બિટ ધીમું | 3–6 |
| M5 Ultra | 96 GB | 4-બિટ સારું ચાલે છે | 14–24 |
| M5 Max | 64 GB | 4-બિટ ધીમું | 7–12 |
| M5 Pro | 64 GB | 4-બિટ ધીમું | 4–6 |
| M5 | 32 GB | 2-બિટ ધીમું | 3–6 |
| M4 Max | 64 GB | 4-બિટ ધીમું | 6–11 |
| M4 Pro | 64 GB | 4-બિટ ધીમું | 3–6 |
| M4 | 32 GB | 2-બિટ ધીમું | 2–4 |
| M3 Ultra | 96 GB | 6-બિટ ધીમું | 6–12 |
| M3 Max | 64 GB | 4-બિટ ધીમું | 5–8 |
| M3 Pro | 36 GB | 2-બિટ ધીમું | 3–5 |
| M3 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M2 Ultra | 64 GB | 4-બિટ ધીમું | 9–16 |
| M2 Max | 64 GB | 4-બિટ ધીમું | 5–8 |
| M2 Pro | 32 GB | 2-બિટ ધીમું | 4–7 |
| M2 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M1 Ultra | 64 GB | 4-બિટ ધીમું | 9–16 |
| M1 Max | 64 GB | 4-બિટ ધીમું | 5–8 |
| M1 Pro | 32 GB | 2-બિટ ધીમું | 4–7 |
| M1 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
તેને કેવી રીતે ચલાવવું
- સરળ રીત: MLX Harness ડાઉનલોડ કરો, જે મફત અને ઓપન સોર્સ છે. Llama 3.3 70B Instruct શોધો, તમારા Macમાં સમાતું વર્ઝન ડાઉનલોડ કરો, અને ચૅટ કરો. તે OpenAI-compatible API દ્વારા આ મૉડલ તમારી બીજી ઍપને પણ આપે છે.MLX Harness ડાઉનલોડ કરોમફત · Apple Silicon · macOS 14.5 કે પછીનું
- Terminalમાં Appleના MLX સાથે:
pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-3.3-70B-Instruct-4bitબિલ્ડ: Hugging Face પર mlx-community/Llama-3.3-70B-Instruct-4bit. બીજાં પ્રિસિઝન તેની બાજુમાં જ છે.
સ્ટેપ બાય સ્ટેપ: Mac પર LLM ડાઉનલોડ કરો અને ચલાવો · MLX Harness કેવી રીતે વાપરવું · MLX વિ. Ollama વિ. llama.cpp
Llama 3.3 70B Instruct વિશે
| બનાવનાર | Meta |
|---|---|
| પૅરામીટર | 70B (ડેન્સ) |
| કૉન્ટેક્સ્ટ | 128K ટોકન |
| લાઇસન્સ | Llama 3.3 Community License |
| રિલીઝ | 2024-12 |
| ઇનપુટ | ટેક્સ્ટ |
| વેઇટ | meta-llama/Llama-3.3-70B-Instruct |
પ્રશ્નો
- Llama 3.3 70B Instructને કેટલી મેમરી જોઈએ?
- 4-બિટ પર આશરે 39.4 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 42.6 GB. Mac પર એનો અર્થ 64 GB કે વધુ યુનિફાઇડ મેમરી, કારણ કે ડિફૉલ્ટ રીતે macOS GPUને તેનો આશરે 75% ભાગ વાપરવા દે છે.
- Mac પર Llama 3.3 70B Instruct કેટલું ઝડપી ચાલે છે?
- લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 96 GBવાળું M5 Ultra છે, સેકન્ડના આશરે 14–24 ટોકન (4-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 64 GBવાળું M2 Ultra, આશરે 9–16 સુધી પહોંચે છે.
- શું ક્વૉન્ટાઇઝેશનથી Llama 3.3 70B Instructની ગુણવત્તા ઘટે છે?
- 4 બિટ પર મોટા ભાગનાં મૉડલ મૂળ ગુણવત્તાની નજીક રહે છે; 4 બિટથી નીચે ગુણવત્તા ઝડપથી ઘટે છે. તમારા Macમાં જગ્યા રાખીને સમાય તેવું સૌથી ઊંચું પ્રિસિઝન પસંદ કરો.
મળતાં આવતાં મૉડલ
તમારા મૉડલ કાર્ડ કે README માટે
Llama 3.3 70B Instructને સારી રીતે ચલાવતું સૌથી નાનું Mac બતાવે છે અને અહીં લિંક કરે છે.
[](https://mlx.app/run/llama-3.3-70b)ગણતરી કેવી રીતે થઈ
મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.