તમારું Mac શું ચલાવી શકે?
તમારું Mac કે બીજું કોઈ પણ મશીન પસંદ કરો અને જુઓ કે કયા ઓપન AI મૉડલ તેની મેમરીમાં સમાય છે અને તે તેમને કેટલી ઝડપે ચલાવે છે. દરેક મૉડલના મૉડલ કાર્ડ અને દરેક ચિપની પ્રકાશિત મેમરી અને બૅન્ડવિડ્થ પરથી ગણતરી કરી છે.
Apple M5, 16 GB: ડિફૉલ્ટ રીતે મૉડલ માટે આશરે 12 GB, મેમરી બૅન્ડવિડ્થ 153 GB/s. 43 લોકપ્રિય મૉડલમાંથી 20 આના પર ચાલે છે. તેનું પેજ માપેલું: llama.cppમાં 4-બિટ Llama 2 7B સાથે 32 ટોકન/સેકન્ડ (M5 (10-core GPU)).
બુદ્ધિ: Artificial Analysis Intelligence Index v4.3.2, જ્યાં માપ્યું હોય ત્યાં. મૉડલનાં નામ તેમનાં સત્તાવાર કાર્ડ સાથે લિંક છે.
ગણતરી કેવી રીતે થઈ
મેમરી. દરેક મૉડલ તે સમાય એવી સૌથી ઊંચી પ્રિસિઝન પર બતાવ્યું છે: પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા મૉડલ એ જ સ્વરૂપે આવતું હોય તો તેનું નેટિવ ફૉર્મેટ. Mac પર GPU ડિફૉલ્ટ રીતે યુનિફાઇડ મેમરીનો આશરે 75% વાપરી શકે છે; તેની ઉપર અમે કૉન્ટેક્સ્ટ માટે જગ્યા રાખીએ છીએ.
ઝડપ. લખતી વખતે દરેક ટોકન બધા સક્રિય વેઇટ એક વાર વાંચે છે, તેથી મેમરી બૅન્ડવિડ્થને એ બાઇટથી ભાગતાં એક વાતચીતની મહત્તમ મર્યાદા મળે છે. llama.cppના Apple Silicon પરના જાહેર બેન્ચમાર્કમાં વાસ્તવિક રન આના આશરે 45% થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. લાંબો પ્રૉમ્પ્ટ વાંચવો કમ્પ્યુટ પર આધાર રાખે છે, તેથી તે અહીં બતાવ્યું નથી.
સ્રોત. પૅરામીટર, કૉન્ટેક્સ્ટ અને લાઇસન્સ Hugging Face પર દરેક મૉડલના સત્તાવાર કાર્ડમાંથી (નામ પર લિંક); મેમરી અને બૅન્ડવિડ્થ Apple અને ઉત્પાદકોના સ્પેસિફિકેશનમાંથી. 2026-10-19ના રોજ ચકાસ્યું. તમારું Mac MLX Bench પર માપો. દરેક Mac, દરેક મૉડલ અને આખું ફિટ ટેબલ JSON અને CSVમાં મફત ડાઉનલોડ કરી શકાય છે: ઓપન ડેટા.
બ્રાઉઝ કરો. દરેક Mac, 8 GBના M1થી 512 GBના M5 Ultra સુધી, તેના પર ચાલતા દરેક મૉડલ સાથે, અને દરેક મૉડલ તેને જોઈતા સૌથી નાના Mac સાથે.
ચલાવી જુઓ. પગલે પગલે: Mac પર LLM ડાઉનલોડ કરીને ચલાવો, MLX વિ. Ollama વિ. llama.cpp અને લોકલ LLM માટે શ્રેષ્ઠ Mac. તમારું Mac નવરું હોય ત્યારે તે MLX ટોકન કમાઈ શકે છે.
- કોઈ LLM મારા Mac પર ચાલશે કે નહીં તે કેવી રીતે ખબર પડે?
- તમે ઇચ્છો તે પ્રિસિઝન પર મૉડલના કદની તુલના તમારા Macની યુનિફાઇડ મેમરી સાથે કરો. macOS ડિફૉલ્ટ રીતે GPUને તેનો આશરે 75% વાપરવા દે છે, અને મૉડલને કૉન્ટેક્સ્ટ માટે પણ જગ્યા જોઈએ. 4-બિટ મૉડલને દર એક અબજ પૅરામીટર દીઠ અડધા ગીગાબાઇટથી થોડું વધુ જોઈએ.
- મને દર સેકન્ડે કેટલા ટોકન મળશે?
- લખવાની ઝડપ મેમરી બૅન્ડવિડ્થથી મર્યાદિત છે: દરેક ટોકન મૉડલના સક્રિય વેઇટ એક વાર વાંચે છે. બૅન્ડવિડ્થને પ્રતિ ટોકન વંચાતા બાઇટથી ભાગતાં એક વાતચીતની મહત્તમ મર્યાદા મળે છે; વાસ્તવિક રન સામાન્ય રીતે આના આશરે 45% થી 80% સુધી પહોંચે છે.
- મિક્સ્ચર-ઑફ-એક્સપર્ટ્સ (MoE) મૉડલ ઝડપી કેમ ચાલે છે?
- આ મૉડલ મેમરીમાં ઘણા એક્સપર્ટ રાખે છે, પણ દરેક ટોકન માટે તેમાંથી થોડા જ વાપરે છે, તેથી દરેક ટોકન ઘણા ઓછા બાઇટ વાંચે છે. મેમરી આખા મૉડલ માટે જોઈએ, પણ ઝડપ ઘણા નાના મૉડલ જેટલી હોય છે.
- શું 4-બિટ પૂરતું છે?
- મોટા ભાગના મૉડલમાં 4-બિટ ગુણવત્તાને મૂળની નજીક રાખે છે. 4 બિટથી નીચે ગુણવત્તા ઝડપથી ઘટે છે, તેથી 4 બિટથી ઓછાં વર્ઝન પર નિશાન કર્યું છે.