તમારા Mac પર LLM ડાઉનલોડ કરો અને ચલાવો.

1મૉડલ ક્યાં મળે

મોટા ભાગનાં ઓપન-વેઇટ મૉડલ Hugging Face પર હોય છે. એક જ મૉડલ સામાન્ય રીતે ઘણાં બિલ્ડમાં આવે છે, અને કઈ ઍપ તેને ચલાવી શકે તે ફૉર્મેટ નક્કી કરે છે:

કયો રનટાઇમ વાપરવો તે નક્કી નથી? MLX vs Ollama vs llama.cpp તેમની સરખામણી કરે છે. આ બધું નવું છે? Mac પર LLM ચલાવવુંથી શરૂઆત કરો.

2તમારી મેમરીમાં બંધબેસે એવું કદ પસંદ કરો

મૉડલના વેઇટ પૂરતી જગ્યા છોડીને મેમરીમાં બંધબેસવા જોઈએ. MLX ક્વૉન્ટાઇઝ્ડ વેઇટને તેના બિટ સાથે, 64 વેઇટના દરેક જૂથ માટે એક વહેંચાયેલા સ્કેલ અને બાયસ સહિત સાચવે છે, એટલે કે દર વેઇટે આશરે અડધો બિટ વધુ (MLX). તેથી 4-બિટમાં દર અબજ પૅરામીટરે આશરે 0.56 GB અને 8-બિટમાં આશરે 1.06 GB લાગે છે.

ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો ફક્ત એક ભાગ જ વાપરવા દે છે; Compare આશરે ત્રણ-ચતુર્થાંશ ધારે છે, અને macOS 15 કે પછી sudo sysctl iogpu.wired_limit_mb=Nથી મર્યાદા કેવી રીતે વધારવી તે mlx-lmના READMEમાં છે (mlx-lm). mixture-of-experts મૉડલમાં કુલ પૅરામીટર મેમરી નક્કી કરે છે અને સક્રિય પૅરામીટર ઝડપ. Compare આ ગણતરી દરેક લોકપ્રિય મૉડલ અને દરેક Apple ચિપ માટે કરે છે, અને બૅન્ડવિડ્થ ઝડપ કેમ નક્કી કરે છે તે લોકલ LLM માટે શ્રેષ્ઠ Mac સમજાવે છે.

3ક્વૉન્ટાઇઝેશન: 4-બિટ, 8-બિટ અને બાકીનાં

ક્વૉન્ટાઇઝેશન દરેક વેઇટને ઓછા બિટમાં સાચવે છે, તેથી મૉડલ ઓછી મેમરી લે છે અને ઝડપથી ચાલે છે, ગુણવત્તામાં થોડી કિંમત ચૂકવીને. Mac પર 4-બિટ સામાન્ય શરૂઆત છે. 8-બિટ મૂળની નજીક છે અને બમણા કદનું. 4 બિટથી નીચે ફાઇલો નાની થાય છે પણ જવાબો વહેલા બગડે છે, તેથી મોટું મૉડલ બીજી રીતે બંધબેસતું ન હોય ત્યારે જ તે અજમાવો.

• MLX બિલ્ડ નામમાં જ કહે છે: -4bit, -8bit, અને ક્યારેક સંવેદનશીલ લેયરને વધુ બિટમાં રાખતાં મિશ્ર-પ્રિસિઝન બિલ્ડ.
• GGUF ફાઇલો llama.cppનાં નામ વાપરે છે: Q4_K_M, Q5_K_M, Q8_0 વગેરે. Hugging Face GGUF રિપોઝિટરી કોઈ નામ આપ્યા વગર Ollamaમાં ચલાવો તો, Q4_K_M હોય તો તે એ જ પસંદ કરે છે (Hugging Face).
• પોતાનું બનાવો: મૂળ વેઇટમાંથી MLX બિલ્ડ. mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q એક 4-બિટ નકલ લખે છે (mlx-lm).

4ડિસ્ક જગ્યા અને મૉડલ ક્યાં રહે છે

ડાઉનલોડ આશરે ઉપરના ટેબલમાંના વેઇટ જેટલું મોટું હોય છે, તેથી 4-બિટ 8B મૉડલ થોડા ગીગાબાઇટ અને 70B મૉડલ દસેક ગીગાબાઇટનું હોય છે. એક જ મૉડલનાં ઘણાં કદ કે બિલ્ડ અજમાવો તો જગ્યા ઝડપથી ભરાય છે.

mlx-lm અને બીજાં Hugging Face ટૂલ ડાઉનલોડ ~/.cache/huggingface/hubમાં રાખે છે; તેને ખસેડવા HF_HOME કે HF_HUB_CACHE સેટ કરો. hf cache ls ત્યાં શું છે તે બતાવે છે અને hf cache rm મૉડલ ડિલીટ કરે છે (Hugging Face). Ollama અને LM Studio મૉડલ પોતાનાં ફોલ્ડરમાં રાખે છે અને જાતે સંભાળે છે.

5ગેટેડ મૉડલ અને Hugging Face ટોકન

Llama સહિત કેટલાંક મૉડલ ગેટેડ છે: ડાઉનલોડ કરતાં પહેલાં બનાવનારની શરતો સ્વીકારવી પડે છે (Hugging Face).

1. મફત Hugging Face એકાઉન્ટમાં સાઇન ઇન કરો અને મૉડલનું પેજ ખોલો.
2. પેજ પરના બટનથી શરતો સ્વીકારો (ડિફૉલ્ટ રીતે Agree and send request to access repo). કેટલાક બનાવનારા વિનંતીઓ હાથે મંજૂર કરે છે, જેમાં વધુ સમય લાગે છે.
3. તમારાં Hugging Face સેટિંગ્સમાં ઍક્સેસ ટોકન બનાવો.
4. ટોકન તમારાં ટૂલને આપો: mlx-lm અને બીજાં Hugging Face ટૂલ માટે Terminalમાં hf auth login ચલાવો (Hugging Face), અથવા ઍપના Hugging Face ટોકન ફીલ્ડમાં પેસ્ટ કરો.

6ચલાવો: ચાર રીત

mlx-lm: Terminalમાં Appleનું MLX

pipથી ઇન્સ્ટોલ કરો, પછી Hugging Face પરના કોઈ પણ MLX મૉડલનું નામ આપો; પહેલા રનમાં તે ડાઉનલોડ થાય છે (mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server બીજી ઍપ માટે localhost:8080 પર OpenAI-શૈલીના API પર મૉડલ સર્વ કરે છે (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: મૉડલ બ્રાઉઝરવાળી ઍપ

LM Studio ઍપમાં જ Hugging Face પરથી મૉડલ શોધીને ડાઉનલોડ કરે છે, અને Apple Silicon પર MLX મૉડલ તેમ જ llama.cppથી GGUF ચલાવે છે. તેને Apple Silicon અને macOS 14 કે પછીનું વર્ઝન જોઈએ, અને તે 16 GB કે વધુ મેમરી સૂચવે છે (LM Studio).

Ollama: એક કમાન્ડ

Ollama પોતાની લાઇબ્રેરીનાં મૉડલ, અને Hugging Face પરની કોઈ પણ GGUF રિપોઝિટરી સીધી, જરૂર હોય તો ક્વૉન્ટાઇઝેશન ટૅગ સાથે, ચલાવે છે (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: અમારી મફત ઍપ

MLX Harness એ vMLX પર બનેલી અમારી મફત Mac ઍપ છે: તે Hugging Face પર MLX મૉડલ શોધે છે, ચૅટ કરે છે, ટૂલ અને ઇમેજ મૉડલ ચલાવે છે, અને બધું લોકલ API પર સર્વ કરે છે. તેનો ગેટવે પણ પોર્ટ 8080 વાપરે છે, તેથી એ જ પોર્ટ પર mlx_lm.server સાથે તેને ન ચલાવો. તમે Mac ન વાપરતા હો ત્યારે MLX Node તેને MLX Networkને આપી શકે છે.

7પ્રશ્નો

Mac માટે LLM ક્યાંથી ડાઉનલોડ કરવાં?

Hugging Face પરથી. MLX બિલ્ડ શોધો, એમાંનાં ઘણાં mlx-communityએ પ્રકાશિત કરેલાં, અથવા GGUF ફાઇલો. LM Studio અને Ollama તમારા માટે શોધીને ડાઉનલોડ કરી શકે છે.

કયા કદનું મૉડલ ડાઉનલોડ કરવું?

જેના વેઇટ તમારા Macની મેમરીમાં આરામથી બંધબેસે તે: 4-બિટમાં દર અબજ પૅરામીટરે આશરે 0.56 GB, એટલે 8B મૉડલ માટે આશરે 4.5 GB અને 70B માટે 39 GB, ઉપરાંત કૉન્ટેક્સ્ટ માટે જગ્યા. mlx.app પરનું Compare તમારા Mac માટે આ તપાસે છે.

Mac પર MLX કે GGUF?

બંને Apple Silicon પર સારાં ચાલે છે. MLX બિલ્ડ Appleના MLX માટે બનેલાં છે અને mlx-lm, LM Studio અને MLX Harnessમાં ચાલે છે; GGUF ફાઇલો llama.cpp, Ollama અને LM Studioમાં ચાલે છે.

શું Hugging Face એકાઉન્ટ જોઈએ?

સાર્વજનિક મૉડલ માટે નહીં. ગેટેડ મૉડલ માટે મફત એકાઉન્ટ, સ્વીકારેલું લાઇસન્સ અને ઍક્સેસ ટોકન જોઈએ.

ડાઉનલોડ કરેલાં મૉડલ ઑફલાઇન ચલાવી શકાય?

હા. ફાઇલો તમારા Mac પર આવી જાય પછી મૉડલ ઇન્ટરનેટ કનેક્શન વગર ચાલે છે અને તમારા પ્રૉમ્પ્ટ Mac પર જ રહે છે.