દરેક પ્રિસિઝન પર મેમરી
| વર્ઝન | વેઇટ | કૉન્ટેક્સ્ટ સાથે | સૌથી નાનું Mac |
|---|---|---|---|
| 8-બિટ | 31.5 GB | 34 GB | 48 GB |
| 6-બિટ | 24.1 GB | 26 GB | 36 GB |
| 4-બિટ | 16.7 GB | 18.2 GB | 32 GB |
| 3-બિટ ઓછી ગુણવત્તા | 13 GB | 14.5 GB | 24 GB |
| 2-બિટ ઓછી ગુણવત્તા | 9.3 GB | 10.8 GB | 16 GB |
દરેક Apple ચિપ પર
દરેક ચિપની Muse Glimmer 30B ચલાવતી સૌથી નાની મેમરી સાઇઝ, તેમાં સમાતું શ્રેષ્ઠ વર્ઝન, અને લખવાની અપેક્ષિત ઝડપ.
| ચિપ | જરૂર | વર્ઝન | ટોકન/સેકન્ડ |
|---|---|---|---|
| M6 | 32 GB | 4-બિટ ધીમું | 5–8 |
| M5 Ultra | 96 GB | 8-બિટ સારું ચાલે છે | 17–30 |
| M5 Max | 36 GB | 4-બિટ સારું ચાલે છે | 12–22 |
| M5 Pro | 48 GB | 8-બિટ ધીમું | 4–8 |
| M5 | 32 GB | 4-બિટ ધીમું | 4–7 |
| M4 Max | 36 GB | 4-બિટ સારું ચાલે છે | 11–20 |
| M4 Pro | 48 GB | 8-બિટ ધીમું | 4–7 |
| M4 | 32 GB | 4-બિટ ધીમું | 3–6 |
| M3 Ultra | 96 GB | 8-બિટ સારું ચાલે છે | 12–21 |
| M3 Max | 36 GB | 6-બિટ ધીમું | 6–10 |
| M3 Pro | 36 GB | 6-બિટ ધીમું | 3–5 |
| M3 | 16 GB | 2-બિટ ધીમું | 5–9 |
| M2 Ultra | 64 GB | 8-બિટ સારું ચાલે છે | 11–20 |
| M2 Max | 32 GB | 4-બિટ સારું ચાલે છે | 11–19 |
| M2 Pro | 32 GB | 4-બિટ ધીમું | 5–10 |
| M2 | 16 GB | 2-બિટ ધીમું | 5–9 |
| M1 Ultra | 64 GB | 8-બિટ સારું ચાલે છે | 11–20 |
| M1 Max | 32 GB | 4-બિટ સારું ચાલે છે | 11–19 |
| M1 Pro | 32 GB | 4-બિટ ધીમું | 5–10 |
| M1 | 16 GB | 2-બિટ ધીમું | 3–6 |
તેને કેવી રીતે ચલાવવું
- સરળ રીત: MLX Harness ડાઉનલોડ કરો, જે મફત અને ઓપન સોર્સ છે. Muse Glimmer 30B શોધો, તમારા Macમાં સમાતું વર્ઝન ડાઉનલોડ કરો, અને ચૅટ કરો. તે OpenAI-compatible API દ્વારા આ મૉડલ તમારી બીજી ઍપને પણ આપે છે.MLX Harness ડાઉનલોડ કરોમફત · Apple Silicon · macOS 14.5 કે પછીનું
- Terminalમાં Appleના MLX સાથે:
pip install mlx-lmmlx_lm.chat --model mlx-community/Muse-Glimmer-30B-4bitબિલ્ડ: Hugging Face પર mlx-community/Muse-Glimmer-30B-4bit. બીજાં પ્રિસિઝન તેની બાજુમાં જ છે.
સ્ટેપ બાય સ્ટેપ: Mac પર LLM ડાઉનલોડ કરો અને ચલાવો · MLX Harness કેવી રીતે વાપરવું · MLX વિ. Ollama વિ. llama.cpp
Muse Glimmer 30B વિશે
| બનાવનાર | Meta (Meta Superintelligence Lab) |
|---|---|
| પૅરામીટર | 29.6B (ડેન્સ) |
| કૉન્ટેક્સ્ટ | 128K ટોકન |
| લાઇસન્સ | Apache-2.0 |
| રિલીઝ | 2026-08 |
| ઇનપુટ | ટેક્સ્ટ અને ઇમેજ |
| ઇન્ટેલિજન્સ | Artificial Analysis Intelligence Index પર 17.5 |
| વેઇટ | meta-models/Muse-Glimmer-30B |
પ્રશ્નો
- Muse Glimmer 30Bને કેટલી મેમરી જોઈએ?
- 4-બિટ પર આશરે 16.7 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 18.2 GB. Mac પર એનો અર્થ 32 GB કે વધુ યુનિફાઇડ મેમરી, કારણ કે ડિફૉલ્ટ રીતે macOS GPUને તેનો આશરે 75% ભાગ વાપરવા દે છે.
- Mac પર Muse Glimmer 30B કેટલું ઝડપી ચાલે છે?
- લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 96 GBવાળું M5 Ultra છે, સેકન્ડના આશરે 17–30 ટોકન (8-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 32 GBવાળું M2 Max, આશરે 11–19 સુધી પહોંચે છે.
- શું ક્વૉન્ટાઇઝેશનથી Muse Glimmer 30Bની ગુણવત્તા ઘટે છે?
- 4 બિટ પર મોટા ભાગનાં મૉડલ મૂળ ગુણવત્તાની નજીક રહે છે; 4 બિટથી નીચે ગુણવત્તા ઝડપથી ઘટે છે. તમારા Macમાં જગ્યા રાખીને સમાય તેવું સૌથી ઊંચું પ્રિસિઝન પસંદ કરો.
મળતાં આવતાં મૉડલ
તમારા મૉડલ કાર્ડ કે README માટે
Muse Glimmer 30Bને સારી રીતે ચલાવતું સૌથી નાનું Mac બતાવે છે અને અહીં લિંક કરે છે.
[](https://mlx.app/run/muse-glimmer-30b)ગણતરી કેવી રીતે થઈ
મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.