લૉગ ઇનવૉલેટ બનાવો

શું Mac પર Inkling Small ચાલી શકે?

હા, 256 GB કે વધુ યુનિફાઇડ મેમરી સાથે. Inkling Smallમાં 276B પૅરામીટર છે, જેમાંથી દરેક ટોકન માટે 12B સક્રિય રહે છે; દરેક પ્રિસિઝન પર તેને કેટલી મેમરી જોઈએ અને દરેક Apple ચિપ તેને કેટલી ઝડપે ચલાવે છે, તે અહીં જુઓ.

4-બિટ પર મેમરી168 GBવેઇટ 155 GB + કૉન્ટેક્સ્ટ
સૌથી નાનું Mac256 GB4-બિટ · 10 Mac કૉન્ફિગરેશન
સૌથી ઝડપી Mac79–141ટોકન/સેકન્ડ · M5 Ultra 256 GB (અંદાજ)

દરેક પ્રિસિઝન પર મેમરી

વર્ઝનવેઇટકૉન્ટેક્સ્ટ સાથેસૌથી નાનું Mac
8-બિટ293 GB317 GB512 GB
6-બિટ224 GB242 GB512 GB
4-બિટ155 GB168 GB256 GB
3-બિટ ઓછી ગુણવત્તા121 GB131 GB192 GB
2-બિટ ઓછી ગુણવત્તા86.3 GB93.2 GB128 GB

દરેક Apple ચિપ પર

દરેક ચિપની Inkling Small ચલાવતી સૌથી નાની મેમરી સાઇઝ, તેમાં સમાતું શ્રેષ્ઠ વર્ઝન, અને લખવાની અપેક્ષિત ઝડપ.

ચિપજરૂરવર્ઝનટોકન/સેકન્ડ
M6કોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M5 Ultra256 GB4-બિટ સારું ચાલે છે79–141
M5 Max128 GB2-બિટ સારું ચાલે છે73–129
M5 Proકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M5કોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M4 Max128 GB2-બિટ સારું ચાલે છે65–115
M4 Proકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M4કોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M3 Ultra256 GB4-બિટ સારું ચાલે છે54–96
M3 Max128 GB2-બિટ સારું ચાલે છે47–84
M3 Proકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M3કોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M2 Ultra128 GB2-બિટ સારું ચાલે છે95–168
M2 Maxકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M2 Proકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M2કોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M1 Ultra128 GB2-બિટ સારું ચાલે છે95–168
M1 Maxકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M1 Proકોઈ સાઇઝ સમાતી નથીબહુ મોટું–
M1કોઈ સાઇઝ સમાતી નથીબહુ મોટું–

તેને કેવી રીતે ચલાવવું

  1. સરળ રીત: MLX Harness ડાઉનલોડ કરો, જે મફત અને ઓપન સોર્સ છે. Inkling Small શોધો, તમારા Macમાં સમાતું વર્ઝન ડાઉનલોડ કરો, અને ચૅટ કરો. તે OpenAI-compatible API દ્વારા આ મૉડલ તમારી બીજી ઍપને પણ આપે છે.MLX Harness ડાઉનલોડ કરોમફત · Apple Silicon · macOS 14.5 કે પછીનું
  2. Terminalમાં Appleના MLX સાથે:pip install mlx-lmmlx_lm.chat --model mlx-community/Inkling-Small-mlx-4bitબિલ્ડ: Hugging Face પર mlx-community/Inkling-Small-mlx-4bit. બીજાં પ્રિસિઝન તેની બાજુમાં જ છે.

સ્ટેપ બાય સ્ટેપ: Mac પર LLM ડાઉનલોડ કરો અને ચલાવો · MLX Harness કેવી રીતે વાપરવું · MLX વિ. Ollama વિ. llama.cpp

Inkling Small વિશે

બનાવનારThinking Machines Lab
પૅરામીટર276B કુલ · 12B સક્રિય (mixture of experts)
લાઇસન્સApache-2.0
રિલીઝ2026-07
ઇનપુટટેક્સ્ટ અને ઇમેજ
ઇન્ટેલિજન્સArtificial Analysis Intelligence Index પર 25.7
વેઇટthinkingmachines/Inkling-Small

પ્રશ્નો

Inkling Smallને કેટલી મેમરી જોઈએ?
4-બિટ પર આશરે 155 GB વેઇટ, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા: કુલ 168 GB. Mac પર એનો અર્થ 256 GB કે વધુ યુનિફાઇડ મેમરી, કારણ કે ડિફૉલ્ટ રીતે macOS GPUને તેનો આશરે 75% ભાગ વાપરવા દે છે.
Mac પર Inkling Small કેટલું ઝડપી ચાલે છે?
લખવાની ઝડપ મેમરી બૅન્ડવિડ્થ પર આધાર રાખે છે. અહીં તેના માટે સૌથી ઝડપી Mac 256 GBવાળું M5 Ultra છે, સેકન્ડના આશરે 79–141 ટોકન (4-બિટ). તેને ચલાવતું સૌથી નાનું Mac, 256 GBવાળું M5 Ultra, આશરે 79–141 સુધી પહોંચે છે.
Inkling Small તેની સાઇઝના પ્રમાણમાં ઝડપી કેમ ચાલે છે?
તે mixture-of-experts મૉડલ છે: તે મેમરીમાં 276B પૅરામીટર રાખે છે, પણ દરેક ટોકન માટે ફક્ત 12B વાંચે છે, એટલે તે ઘણા નાના મૉડલની ઝડપે લખે છે.

મળતાં આવતાં મૉડલ

દરેક મૉડલ · દરેક Mac · તમારા Macની સરખામણી કરો

તમારા મૉડલ કાર્ડ કે README માટે

Runs on a Mac: Inkling Small Inkling Smallને સારી રીતે ચલાવતું સૌથી નાનું Mac બતાવે છે અને અહીં લિંક કરે છે.

[![Runs on a Mac](https://mlx.app/badge/run/inkling-small.svg)](https://mlx.app/run/inkling-small)

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.

શું Mac પર Inkling Small ચાલી શકે? મેમરી અને ઝડપ