દરેક પ્રિસિઝન પર મેમરી
| વર્ઝન | વેઇટ | કૉન્ટેક્સ્ટ સાથે | સૌથી નાનું Mac |
|---|---|---|---|
| 8-બિટ | 1 TB | 1.1 TB | કોઈ પણ Mac કરતાં વધુ |
| 6-બિટ | 792 GB | 856 GB | કોઈ પણ Mac કરતાં વધુ |
| 4-બિટ | 548 GB | 592 GB | કોઈ પણ Mac કરતાં વધુ |
| 3-બિટ ઓછી ગુણવત્તા | 427 GB | 461 GB | કોઈ પણ Mac કરતાં વધુ |
| 2-બિટ ઓછી ગુણવત્તા | 305 GB | 329 GB | 512 GB |
દરેક Apple ચિપ પર
દરેક ચિપની Inkling ચલાવતી સૌથી નાની મેમરી સાઇઝ, તેમાં સમાતું શ્રેષ્ઠ વર્ઝન, અને લખવાની અપેક્ષિત ઝડપ.
| ચિપ | જરૂર | વર્ઝન | ટોકન/સેકન્ડ |
|---|---|---|---|
| M6 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M5 Ultra | 512 GB | 2-બિટ સારું ચાલે છે | 42–75 |
| M5 Max | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M5 Pro | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M5 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M4 Max | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M4 Pro | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M4 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M3 Ultra | 512 GB | 2-બિટ સારું ચાલે છે | 29–51 |
| M3 Max | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M3 Pro | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M3 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M2 Ultra | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M2 Max | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M2 Pro | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M2 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M1 Ultra | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M1 Max | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M1 Pro | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
| M1 | કોઈ સાઇઝ સમાતી નથી | બહુ મોટું | – |
તેને કેવી રીતે ચલાવવું
- સરળ રીત: MLX Harness ડાઉનલોડ કરો, જે મફત અને ઓપન સોર્સ છે. Inkling શોધો, તમારા Macમાં સમાતું વર્ઝન ડાઉનલોડ કરો, અને ચૅટ કરો. તે OpenAI-compatible API દ્વારા આ મૉડલ તમારી બીજી ઍપને પણ આપે છે.MLX Harness ડાઉનલોડ કરોમફત · Apple Silicon · macOS 14.5 કે પછીનું
- Terminalમાં Appleના MLX સાથે:
pip install mlx-lmmlx_lm.chat --model mlx-community/Inkling-mlx-4bitબિલ્ડ: Hugging Face પર mlx-community/Inkling-mlx-4bit. બીજાં પ્રિસિઝન તેની બાજુમાં જ છે.
સ્ટેપ બાય સ્ટેપ: Mac પર LLM ડાઉનલોડ કરો અને ચલાવો · MLX Harness કેવી રીતે વાપરવું · MLX વિ. Ollama વિ. llama.cpp
Inkling વિશે
| બનાવનાર | Thinking Machines Lab |
|---|---|
| પૅરામીટર | 975B કુલ · 41B સક્રિય (mixture of experts) |
| લાઇસન્સ | Apache-2.0 |
| રિલીઝ | 2026-07 |
| ઇનપુટ | ટેક્સ્ટ અને ઇમેજ |
| ઇન્ટેલિજન્સ | Artificial Analysis Intelligence Index પર 25 |
| વેઇટ | thinkingmachines/Inkling |
પ્રશ્નો
- Inklingને કેટલી મેમરી જોઈએ?
- 4-બિટ પર આશરે 548 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 592 GB. આજે કોઈ Mac પાસે આટલી મેમરી નથી.
- Mac પર Inkling કેટલું ઝડપી ચાલે છે?
- લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 512 GBવાળું M5 Ultra છે, સેકન્ડના આશરે 42–75 ટોકન (2-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 512 GBવાળું M5 Ultra, આશરે 42–75 સુધી પહોંચે છે.
- Inkling તેની સાઇઝના પ્રમાણમાં ઝડપી કેમ ચાલે છે?
- તે mixture-of-experts મૉડલ છે: તે મેમરીમાં 975B પૅરામીટર રાખે છે, પણ દરેક ટોકન માટે ફક્ત 41B વાંચે છે, એટલે તે ઘણા નાના મૉડલની ઝડપે લખે છે.
મળતાં આવતાં મૉડલ
તમારા મૉડલ કાર્ડ કે README માટે
Inklingને સારી રીતે ચલાવતું સૌથી નાનું Mac બતાવે છે અને અહીં લિંક કરે છે.
[](https://mlx.app/run/inkling)ગણતરી કેવી રીતે થઈ
મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.