દરેક પ્રિસિઝન પર મેમરી
| વર્ઝન | વેઇટ | કૉન્ટેક્સ્ટ સાથે | સૌથી નાનું Mac |
|---|---|---|---|
| 8-બિટ | 2.6 TB | 2.8 TB | કોઈ પણ Mac કરતાં વધુ |
| 6-બિટ | 2 TB | 2.1 TB | કોઈ પણ Mac કરતાં વધુ |
| 4-બિટ | 1.4 TB | 1.5 TB | કોઈ પણ Mac કરતાં વધુ |
| 3-બિટ ઓછી ગુણવત્તા | 1.1 TB | 1.1 TB | કોઈ પણ Mac કરતાં વધુ |
| 2-બિટ ઓછી ગુણવત્તા | 750 GB | 810 GB | કોઈ પણ Mac કરતાં વધુ |
દરેક Apple ચિપ પર
દરેક ચિપની Qwen3.8 2.4T A95B ચલાવતી સૌથી નાની મેમરી સાઇઝ, તેમાં સમાતું શ્રેષ્ઠ વર્ઝન, અને લખવાની અપેક્ષિત ઝડપ.
| ચિપ | જરૂર | વર્ઝન | ટોકન/સેકન્ડ |
|---|---|---|---|
| M6 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M5 Ultra | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M5 Max | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M5 Pro | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M5 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M4 Max | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M4 Pro | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M4 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M3 Ultra | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M3 Max | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M3 Pro | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M3 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M2 Ultra | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M2 Max | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M2 Pro | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M2 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M1 Ultra | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M1 Max | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M1 Pro | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M1 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
તેને કેવી રીતે ચલાવવું
કોઈ એક Macમાં તે સમાતું નથી. નીચેનાં નાનાં મૉડલ સારાં ચાલે છે, અને Mac ક્લસ્ટરની ગાઇડ એક મૉડલને ઘણાં Mac પર કેવી રીતે વહેંચવું તે સમજાવે છે.
સ્ટેપ બાય સ્ટેપ: Mac પર LLM ડાઉનલોડ કરો અને ચલાવો · MLX Harness કેવી રીતે વાપરવું · MLX વિ. Ollama વિ. llama.cpp
Qwen3.8 2.4T A95B વિશે
| બનાવનાર | Qwen (Alibaba) |
|---|---|
| પૅરામીટર | 2,400B કુલ · 95B સક્રિય (mixture of experts) |
| કૉન્ટેક્સ્ટ | 256K ટોકન |
| લાઇસન્સ | Qwen3.8-Max license (qwen3.8-max) |
| રિલીઝ | 2026-08 |
| ઇનપુટ | ટેક્સ્ટ |
| ઇન્ટેલિજન્સ | Artificial Analysis Intelligence Index પર 39.9 |
| વેઇટ | Qwen/Qwen3.8-2.4T-A95B |
પ્રશ્નો
- Qwen3.8 2.4T A95Bને કેટલી મેમરી જોઈએ?
- 4-બિટ પર આશરે 1.4 TB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 1.5 TB. આજે કોઈ Mac પાસે આટલી મેમરી નથી.
- શું કોઈ Mac Qwen3.8 2.4T A95B ચલાવી શકે?
- એકલું નહીં: 2 બિટ પર પણ તેને સૌથી મોટા Mac કરતાં વધુ મેમરી જોઈએ. નાનું મૉડલ વાપરો, અથવા ક્લસ્ટર રનટાઇમથી તેને ઘણાં Mac પર વહેંચો.
- Qwen3.8 2.4T A95B તેની સાઇઝના પ્રમાણમાં ઝડપી કેમ ચાલે છે?
- તે mixture-of-experts મૉડલ છે: તે મેમરીમાં 2,400B પૅરામીટર રાખે છે, પણ દરેક ટોકન માટે ફક્ત 95B વાંચે છે, એટલે તે ઘણા નાના મૉડલની ઝડપે લખે છે.
મળતાં આવતાં મૉડલ
તમારા મૉડલ કાર્ડ કે README માટે
Qwen3.8 2.4T A95Bને સારી રીતે ચલાવતું સૌથી નાનું Mac બતાવે છે અને અહીં લિંક કરે છે.
[](https://mlx.app/run/qwen3.8-2.4t-a95b)ગણતરી કેવી રીતે થઈ
મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.