દરેક પ્રિસિઝન પર મેમરી
| વર્ઝન | વેઇટ | કૉન્ટેક્સ્ટ સાથે | સૌથી નાનું Mac |
|---|---|---|---|
| 8-બિટ | 313 GB | 339 GB | 512 GB |
| 6-બિટ | 240 GB | 259 GB | 512 GB |
| 4-બિટ | 166 GB | 179 GB | 256 GB |
| 3-બિટ ઓછી ગુણવત્તા | 129 GB | 139 GB | 192 GB |
| 2-બિટ ઓછી ગુણવત્તા | 92.2 GB | 99.6 GB | 192 GB |
દરેક Apple ચિપ પર
દરેક ચિપની Hy3 ચલાવતી સૌથી નાની મેમરી સાઇઝ, તેમાં સમાતું શ્રેષ્ઠ વર્ઝન, અને લખવાની અપેક્ષિત ઝડપ.
| ચિપ | જરૂર | વર્ઝન | ટોકન/સેકન્ડ |
|---|---|---|---|
| M6 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M5 Ultra | 256 GB | 4-બિટ સારું ચાલે છે | 46–81 |
| M5 Max | 128 GB | 2-બિટ માંડ માંડ | 42–74 |
| M5 Pro | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M5 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M4 Max | 128 GB | 2-બિટ માંડ માંડ | 37–66 |
| M4 Pro | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M4 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M3 Ultra | 256 GB | 4-બિટ સારું ચાલે છે | 31–56 |
| M3 Max | 128 GB | 2-બિટ માંડ માંડ | 27–48 |
| M3 Pro | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M3 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M2 Ultra | 192 GB | 3-બિટ સારું ચાલે છે | 39–70 |
| M2 Max | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M2 Pro | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M2 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M1 Ultra | 128 GB | 2-બિટ માંડ માંડ | 55–97 |
| M1 Max | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M1 Pro | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M1 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
તેને કેવી રીતે ચલાવવું
- સરળ રીત: MLX Harness ડાઉનલોડ કરો, જે મફત અને ઓપન સોર્સ છે. Hy3 શોધો, તમારા Macમાં સમાતું વર્ઝન ડાઉનલોડ કરો, અને ચૅટ કરો. તે OpenAI-compatible API દ્વારા આ મૉડલ તમારી બીજી ઍપને પણ આપે છે.MLX Harness ડાઉનલોડ કરોમફત · Apple Silicon · macOS 14.5 કે પછીનું
- Terminalમાં Appleના MLX સાથે:
pip install mlx-lmmlx_lm.chat --model mlx-community/Hy3-OptiQ-2bitબિલ્ડ: Hugging Face પર mlx-community/Hy3-OptiQ-2bit. બીજાં પ્રિસિઝન તેની બાજુમાં જ છે.
સ્ટેપ બાય સ્ટેપ: Mac પર LLM ડાઉનલોડ કરો અને ચલાવો · MLX Harness કેવી રીતે વાપરવું · MLX વિ. Ollama વિ. llama.cpp
Hy3 વિશે
| બનાવનાર | Tencent |
|---|---|
| પૅરામીટર | 295B કુલ · 21B સક્રિય (mixture of experts) |
| કૉન્ટેક્સ્ટ | 256K ટોકન |
| લાઇસન્સ | Apache-2.0 |
| રિલીઝ | 2026-07 |
| ઇનપુટ | ટેક્સ્ટ |
| ઇન્ટેલિજન્સ | Artificial Analysis Intelligence Index પર 25.3 |
| વેઇટ | tencent/Hy3 |
પ્રશ્નો
- Hy3ને કેટલી મેમરી જોઈએ?
- 4-બિટ પર આશરે 166 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 179 GB. Mac પર એનો અર્થ 256 GB કે વધુ યુનિફાઇડ મેમરી, કારણ કે ડિફૉલ્ટ રીતે macOS GPUને તેનો આશરે 75% ભાગ વાપરવા દે છે.
- Mac પર Hy3 કેટલું ઝડપી ચાલે છે?
- લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 256 GBવાળું M5 Ultra છે, સેકન્ડના આશરે 46–81 ટોકન (4-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 256 GBવાળું M5 Ultra, આશરે 46–81 સુધી પહોંચે છે.
- Hy3 તેની સાઇઝના પ્રમાણમાં ઝડપી કેમ ચાલે છે?
- તે mixture-of-experts મૉડલ છે: તે મેમરીમાં 295B પૅરામીટર રાખે છે, પણ દરેક ટોકન માટે ફક્ત 21B વાંચે છે, એટલે તે ઘણા નાના મૉડલની ઝડપે લખે છે.
મળતાં આવતાં મૉડલ
તમારા મૉડલ કાર્ડ કે README માટે
Hy3ને સારી રીતે ચલાવતું સૌથી નાનું Mac બતાવે છે અને અહીં લિંક કરે છે.
[](https://mlx.app/run/hy3)ગણતરી કેવી રીતે થઈ
મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.