તમારા Mac પર LLM ચલાવો.

1તમારા Mac પર શું સમાય

મૉડલના વેઇટ મેમરીમાં સમાવા જોઈએ, અને કૉન્ટેક્સ્ટ તથા macOS માટે જગ્યા બચવી જોઈએ. પ્રતિ વેઇટ 4 bit પર, પ્રતિ અબજ પૅરામીટર આશરે 0.55 થી 0.6 GB ગણો.

ઝડપ અલગ સવાલ છે: દરેક નવા ટોકન માટે સક્રિય વેઇટ મેમરીમાંથી એક વાર વાંચવા પડે છે, એટલે પ્રતિ સેકન્ડ ટોકન મેમરી બૅન્ડવિડ્થ સાથે વધે છે. લોકલ LLM માટે શ્રેષ્ઠ Mac વિશેની અમારી ગાઇડ દરેક ચિપને આવરે છે.

2સહેલી રીત: LM Studio

LM Studio ચૅટ વિન્ડો અને મૉડલ બ્રાઉઝરવાળી મફત Mac ઍપ છે. Apple Silicon પર તે Appleના MLX ફૉર્મેટનાં મૉડલ તેમજ llama.cpp વાપરે છે તે GGUF ફૉર્મેટનાં મૉડલ ચલાવી શકે છે.

1. LM Studio ડાઉનલોડ કરો અને ખોલો.
2. મૉડલ શોધો, Apple Silicon પર MLX વર્ઝન પસંદ કરો, અને તમારી મેમરીમાં સમાય તેવું કદ લો.
3. તેને લોડ કરો અને ચૅટ શરૂ કરો. બીજી ઍપ માટે તેનું લોકલ સર્વર પણ ચાલુ કરી શકો છો.

3એક કમાન્ડ: Ollama

Ollama ટર્મિનલમાંથી મૉડલ ચલાવે છે અને તમારા Mac પરની બીજી ઍપને આપે છે. ઇન્સ્ટોલ કર્યા પછી એક કમાન્ડ મૉડલ ડાઉનલોડ કરીને શરૂ કરે છે:

ollama run llama3.2

વર્ઝન 0.19થી, Apple Silicon પર Ollama પાસે સપોર્ટેડ મૉડલ માટે Appleના MLX ફ્રેમવર્ક પર ચાલતું પ્રીવ્યૂ છે, જેનાથી ઝડપ ઘણી વધે છે; આ પ્રીવ્યૂ માટે 32 GBથી વધુ મેમરીવાળું Mac જોઈએ (Ollama).

4સૌથી ઝડપી રીત: Appleનું MLX અને mlx-lm

MLX Apple Silicon માટે Appleનું ઓપન-સોર્સ મશીન લર્નિંગ ફ્રેમવર્ક છે, અને mlx-lm લેંગ્વેજ મૉડલ માટેનું તેનું પૅકેજ છે. Hugging Face પરની mlx-community સંસ્થામાં હજારો મૉડલ વાપરવા માટે તૈયાર છે.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

ટર્મિનલમાં વાતચીત માટે mlx_lm.chat અને બીજી ઍપ કૉલ કરી શકે તેવા લોકલ API માટે mlx_lm.server વાપરો. M5 ચિપ પર MLX GPUમાંના નવા ન્યુરલ ઍક્સિલરેટર વાપરે છે: Appleના માપ મુજબ પહેલો ટોકન M4 કરતાં 3.3 થી 4.1 ગણો વહેલો આવ્યો (Apple Machine Learning Research).

5માપો, પછી કામે લગાડો

MLX Bench દરેક Apple Silicon ચિપ પર MLXની ઝડપનું ઓપન લીડરબોર્ડ છે: જનરેશન અને પ્રૉમ્પ્ટના પ્રતિ સેકન્ડ ટોકન અને પીક મેમરી. તમારા Mac પર એક ફાઇલની સ્ક્રિપ્ટ ચલાવો અને જુઓ કે તે ક્યાં આવે છે.

તમે તમારું Mac ન વાપરતા હો ત્યારે તે બીજા માટે AI ચલાવી શકે. MLX Node એક મફત ઍપ છે, જે એ જ MLX ફ્રેમવર્ક પર MLX Network માટે AI જૉબ ચલાવે છે અને ચકાસાયેલા કામ માટે MLX ટોકન કમાય છે, તમે નક્કી કરેલી મર્યાદાઓમાં.

6પ્રશ્નો

શું MacBook Air LLM ચલાવી શકે?

હા. 16 GBવાળું MacBook Air 4-bit પર 7B થી 14B મૉડલ આરામથી ચલાવે છે; 32 GB સાથે આશરે 30B સુધીનાં મૉડલ. તે Pro કે Max ચિપવાળા Mac કરતાં ધીમું હશે, જેની મેમરી બૅન્ડવિડ્થ વધુ હોય છે.

શું Mac પર MLX Ollama કરતાં ઝડપી છે?

ઘણી વાર, કારણ કે MLX Apple Silicon માટે જ લખાયેલું છે. Ollamaનું પોતાનું MLX આધારિત પ્રીવ્યૂ Apple Silicon પર ઝડપમાં મોટો વધારો નોંધે છે. અમારી MLX vs Ollama ગાઇડ બંનેની વિગતવાર સરખામણી કરે છે.

શું લોકલ મૉડલ ઑફલાઇન ચાલે છે?

હા. એક વાર ડાઉનલોડ થયા પછી મૉડલ પૂરેપૂરું તમારા Mac પર ચાલે છે અને તમારા પ્રૉમ્પ્ટ ક્યારેય તેની બહાર જતા નથી.

70B મૉડલ માટે મારે કેટલી મેમરી જોઈએ?

4-bit પર વેઇટ માટે આશરે 40 GB, એટલે 64 GB કે વધુ મેમરીવાળું Mac. એટલી જ ગુણવત્તાવાળાં mixture-of-experts મૉડલને વધુ મેમરી જોઈ શકે, પણ તે ઝડપી ચાલે છે.