દરેક પ્રિસિઝન પર મેમરી
| વર્ઝન | વેઇટ | કૉન્ટેક્સ્ટ સાથે | સૌથી નાનું Mac |
|---|---|---|---|
| નેટિવ 4.25-બિટ | 13.8 GB | 15.3 GB | 24 GB |
| 3-બિટ ઓછી ગુણવત્તા | 9.2 GB | 10.7 GB | 16 GB |
| 2-બિટ ઓછી ગુણવત્તા | 6.6 GB | 8.1 GB | 16 GB |
દરેક Apple ચિપ પર
દરેક ચિપની gpt-oss-20b ચલાવતી સૌથી નાની મેમરી સાઇઝ, તેમાં સમાતું શ્રેષ્ઠ વર્ઝન, અને લખવાની અપેક્ષિત ઝડપ.
| ચિપ | જરૂર | વર્ઝન | ટોકન/સેકન્ડ |
|---|---|---|---|
| M6 | 24 GB | નેટિવ 4.25-બિટ સારું ચાલે છે | 40–72 |
| M5 Ultra | 96 GB | નેટિવ 4.25-બિટ સારું ચાલે છે | 284–505 |
| M5 Max | 36 GB | નેટિવ 4.25-બિટ સારું ચાલે છે | 109–194 |
| M5 Pro | 24 GB | નેટિવ 4.25-બિટ સારું ચાલે છે | 73–129 |
| M5 | 24 GB | નેટિવ 4.25-બિટ સારું ચાલે છે | 36–64 |
| M4 Max | 36 GB | નેટિવ 4.25-બિટ સારું ચાલે છે | 97–173 |
| M4 Pro | 24 GB | નેટિવ 4.25-બિટ સારું ચાલે છે | 65–115 |
| M4 | 24 GB | નેટિવ 4.25-બિટ સારું ચાલે છે | 28–51 |
| M3 Ultra | 96 GB | નેટિવ 4.25-બિટ સારું ચાલે છે | 194–345 |
| M3 Max | 36 GB | નેટિવ 4.25-બિટ સારું ચાલે છે | 71–126 |
| M3 Pro | 36 GB | નેટિવ 4.25-બિટ સારું ચાલે છે | 36–63 |
| M3 | 24 GB | નેટિવ 4.25-બિટ સારું ચાલે છે | 24–42 |
| M2 Ultra | 64 GB | નેટિવ 4.25-બિટ સારું ચાલે છે | 189–337 |
| M2 Max | 32 GB | નેટિવ 4.25-બિટ સારું ચાલે છે | 95–168 |
| M2 Pro | 32 GB | નેટિવ 4.25-બિટ સારું ચાલે છે | 47–84 |
| M2 | 24 GB | નેટિવ 4.25-બિટ સારું ચાલે છે | 24–42 |
| M1 Ultra | 64 GB | નેટિવ 4.25-બિટ સારું ચાલે છે | 189–337 |
| M1 Max | 32 GB | નેટિવ 4.25-બિટ સારું ચાલે છે | 95–168 |
| M1 Pro | 32 GB | નેટિવ 4.25-બિટ સારું ચાલે છે | 47–84 |
| M1 | 16 GB | 3-બિટ સારું ચાલે છે | 19–34 |
તેને કેવી રીતે ચલાવવું
- સરળ રીત: MLX Harness ડાઉનલોડ કરો, જે મફત અને ઓપન સોર્સ છે. gpt-oss-20b શોધો, તમારા Macમાં સમાતું વર્ઝન ડાઉનલોડ કરો, અને ચૅટ કરો. તે OpenAI-compatible API દ્વારા આ મૉડલ તમારી બીજી ઍપને પણ આપે છે.MLX Harness ડાઉનલોડ કરોમફત · Apple Silicon · macOS 14.5 કે પછીનું
- Terminalમાં Appleના MLX સાથે:
pip install mlx-lmmlx_lm.chat --model mlx-community/gpt-oss-20b-MXFP4-Q8બિલ્ડ: Hugging Face પર mlx-community/gpt-oss-20b-MXFP4-Q8. બીજાં પ્રિસિઝન તેની બાજુમાં જ છે.
સ્ટેપ બાય સ્ટેપ: Mac પર LLM ડાઉનલોડ કરો અને ચલાવો · MLX Harness કેવી રીતે વાપરવું · MLX વિ. Ollama વિ. llama.cpp
gpt-oss-20b વિશે
| બનાવનાર | OpenAI |
|---|---|
| પૅરામીટર | 21B કુલ · 3.6B સક્રિય (mixture of experts) |
| કૉન્ટેક્સ્ટ | 128K ટોકન |
| લાઇસન્સ | Apache-2.0 |
| રિલીઝ | 2025-08 |
| ઇનપુટ | ટેક્સ્ટ |
| ઇન્ટેલિજન્સ | Artificial Analysis Intelligence Index પર 9 |
| વેઇટ | openai/gpt-oss-20b |
પ્રશ્નો
- gpt-oss-20bને કેટલી મેમરી જોઈએ?
- નેટિવ 4.25-બિટ પર આશરે 13.8 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 15.3 GB. Mac પર એનો અર્થ 24 GB કે વધુ યુનિફાઇડ મેમરી, કારણ કે ડિફૉલ્ટ રીતે macOS GPUને તેનો આશરે 75% ભાગ વાપરવા દે છે.
- Mac પર gpt-oss-20b કેટલું ઝડપી ચાલે છે?
- લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 96 GBવાળું M5 Ultra છે, સેકન્ડના આશરે 284–505 ટોકન (નેટિવ 4.25-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 24 GBવાળું M5 Pro, આશરે 73–129 સુધી પહોંચે છે.
- gpt-oss-20b તેની સાઇઝના પ્રમાણમાં ઝડપી કેમ ચાલે છે?
- તે mixture-of-experts મૉડલ છે: તે મેમરીમાં 21B પૅરામીટર રાખે છે, પણ દરેક ટોકન માટે ફક્ત 3.6B વાંચે છે, એટલે તે ઘણા નાના મૉડલની ઝડપે લખે છે.
મળતાં આવતાં મૉડલ
તમારા મૉડલ કાર્ડ કે README માટે
gpt-oss-20bને સારી રીતે ચલાવતું સૌથી નાનું Mac બતાવે છે અને અહીં લિંક કરે છે.
[](https://mlx.app/run/gpt-oss-20b)ગણતરી કેવી રીતે થઈ
મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.