દરેક પ્રિસિઝન પર મેમરી
| વર્ઝન | વેઇટ | કૉન્ટેક્સ્ટ સાથે | સૌથી નાનું Mac |
|---|---|---|---|
| 8-બિટ | 136 GB | 147 GB | 256 GB |
| 6-બિટ | 104 GB | 112 GB | 192 GB |
| 4-બિટ | 72 GB | 77.8 GB | 128 GB |
| 3-બિટ ઓછી ગુણવત્તા | 56 GB | 60.5 GB | 96 GB |
| 2-બિટ ઓછી ગુણવત્તા | 40 GB | 43.2 GB | 64 GB |
દરેક Apple ચિપ પર
દરેક ચિપની Mistral Medium 3.5 (128B) ચલાવતી સૌથી નાની મેમરી સાઇઝ, તેમાં સમાતું શ્રેષ્ઠ વર્ઝન, અને લખવાની અપેક્ષિત ઝડપ.
| ચિપ | જરૂર | વર્ઝન | ટોકન/સેકન્ડ |
|---|---|---|---|
| M6 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M5 Ultra | 256 GB | 8-બિટ ધીમું | 4–7 |
| M5 Max | 128 GB | 4-બિટ ધીમું | 4–7 |
| M5 Pro | 64 GB | 2-બિટ ધીમું | 3–6 |
| M5 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M4 Max | 128 GB | 4-બિટ ધીમું | 3–6 |
| M4 Pro | 64 GB | 2-બિટ ધીમું | 3–5 |
| M4 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M3 Ultra | 256 GB | 8-બિટ ધીમું | 3–5 |
| M3 Max | 128 GB | 4-બિટ ધીમું | 3–4 |
| M3 Pro | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M3 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M2 Ultra | 128 GB | 4-બિટ ધીમું | 5–9 |
| M2 Max | 64 GB | 2-બિટ ધીમું | 5–8 |
| M2 Pro | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M2 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M1 Ultra | 128 GB | 4-બિટ ધીમું | 5–9 |
| M1 Max | 64 GB | 2-બિટ ધીમું | 5–8 |
| M1 Pro | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M1 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
તેને કેવી રીતે ચલાવવું
- સરળ રીત: MLX Harness ડાઉનલોડ કરો, જે મફત અને ઓપન સોર્સ છે. Mistral Medium 3.5 (128B) શોધો, તમારા Macમાં સમાતું વર્ઝન ડાઉનલોડ કરો, અને ચૅટ કરો. તે OpenAI-compatible API દ્વારા આ મૉડલ તમારી બીજી ઍપને પણ આપે છે.MLX Harness ડાઉનલોડ કરોમફત · Apple Silicon · macOS 14.5 કે પછીનું
- Terminalમાં Appleના MLX સાથે:
pip install mlx-lmmlx_lm.chat --model mlx-community/Mistral-Medium-3.5-128B-4bitબિલ્ડ: Hugging Face પર mlx-community/Mistral-Medium-3.5-128B-4bit. બીજાં પ્રિસિઝન તેની બાજુમાં જ છે.
સ્ટેપ બાય સ્ટેપ: Mac પર LLM ડાઉનલોડ કરો અને ચલાવો · MLX Harness કેવી રીતે વાપરવું · MLX વિ. Ollama વિ. llama.cpp
Mistral Medium 3.5 (128B) વિશે
| બનાવનાર | Mistral AI |
|---|---|
| પૅરામીટર | 128B (ડેન્સ) |
| કૉન્ટેક્સ્ટ | 256K ટોકન |
| લાઇસન્સ | Modified MIT (exceptions for companies with large revenue) |
| રિલીઝ | 2026-03 |
| ઇનપુટ | ટેક્સ્ટ અને ઇમેજ |
| ઇન્ટેલિજન્સ | Artificial Analysis Intelligence Index પર 14.2 |
| વેઇટ | mistralai/Mistral-Medium-3.5-128B |
પ્રશ્નો
- Mistral Medium 3.5 (128B)ને કેટલી મેમરી જોઈએ?
- 4-બિટ પર આશરે 72 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 77.8 GB. Mac પર એનો અર્થ 128 GB કે વધુ યુનિફાઇડ મેમરી, કારણ કે ડિફૉલ્ટ રીતે macOS GPUને તેનો આશરે 75% ભાગ વાપરવા દે છે.
- Mac પર Mistral Medium 3.5 (128B) કેટલું ઝડપી ચાલે છે?
- લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 128 GBવાળું M2 Ultra છે, સેકન્ડના આશરે 5–9 ટોકન (4-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 128 GBવાળું M2 Ultra, આશરે 5–9 સુધી પહોંચે છે.
- શું ક્વૉન્ટાઇઝેશનથી Mistral Medium 3.5 (128B)ની ગુણવત્તા ઘટે છે?
- 4 બિટ પર મોટા ભાગનાં મૉડલ મૂળ ગુણવત્તાની નજીક રહે છે; 4 બિટથી નીચે ગુણવત્તા ઝડપથી ઘટે છે. તમારા Macમાં જગ્યા રાખીને સમાય તેવું સૌથી ઊંચું પ્રિસિઝન પસંદ કરો.
મળતાં આવતાં મૉડલ
તમારા મૉડલ કાર્ડ કે README માટે
Mistral Medium 3.5 (128B)ને સારી રીતે ચલાવતું સૌથી નાનું Mac બતાવે છે અને અહીં લિંક કરે છે.
[](https://mlx.app/run/mistral-medium-3.5)ગણતરી કેવી રીતે થઈ
મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.