લોકલ LLM માટે શ્રેષ્ઠ Mac.

1મેમરી અને બૅન્ડવિડ્થ જ બધું કેમ નક્કી કરે છે

લેંગ્વેજ મૉડલ એક વારમાં એક ટોકન લખે છે, અને દરેક ટોકન માટે તે મેમરીમાંથી દરેક સક્રિય વેઇટ વાંચે છે. એટલે એક વાતચીત માટે ઝડપની મર્યાદા આશરે મેમરી બૅન્ડવિડ્થ ભાગ્યા સક્રિય વેઇટનું કદ છે. llama.cppના સાર્વજનિક બેન્ચમાર્કમાં Apple ચિપ પર ખરું જનરેશન એ મર્યાદાના 43% થી 80% સુધી પહોંચે છે (llama.cpp).

તમારો પ્રૉમ્પ્ટ વાંચવો અલગ વાત છે: એ ભાગ કમ્પ્યુટથી મર્યાદિત છે, એટલે જ GPUમાં ન્યુરલ ઍક્સિલરેટરવાળી M5 પેઢીની ચિપ પ્રૉમ્પ્ટને અગાઉની ચિપ કરતાં કેટલાય ગણા ઝડપથી પ્રોસેસ કરે છે (Apple).

2દરેક ચિપ, સરખામણીમાં

જૂની ચિપમાં પૂરતી મેમરી હોય તો તે હજી સારું કામ કરે છે. 64 GBવાળી M1 Max કે M2 Max 400 GB/s પર વાંચે છે, જે આજની કોઈ પણ બેઝ ચિપ કરતાં વધુ છે, અને સેકન્ડ-હૅન્ડ ઘણી વાર ઘણી સસ્તી મળે છે.

3કયું Mac ખરીદવું

ફક્ત અજમાવવા: 16 થી 32 GBવાળું MacBook Air કે Mac mini

7B થી 14B મૉડલ આરામથી ચલાવે છે, અને 32 GB પર 30B શ્રેણીનાં મૉડલ. ચૅટ, લખાણ અને હળવી કોડિંગ મદદ માટે બરાબર.

સૌથી સારું મૂલ્ય: 64 GBવાળી Pro ચિપ

M4 Pro કે M5 Proવાળું Mac mini કે MacBook Pro 70B શ્રેણીનાં મૉડલ રાખી શકે છે અને મધ્યમ કદનાં મૉડલ સારી ઝડપે ચલાવે છે. મોટા ભાગના ડેવલપર માટે શ્રેષ્ઠ પસંદગી.

ગંભીર લોકલ AI: 128 GBવાળી Max ચિપ

લૅપટૉપ પર gpt-oss-120b (4-bit પર આશરે 65 GB) ચલાવે છે; Appleના બૅન્ડવિડ્થના આંકડા મુજબ M5 Max પર એક સ્ટ્રીમ માટે સૈદ્ધાંતિક મર્યાદા પ્રતિ સેકન્ડ આશરે 225 ટોકન છે. સાથે લઈ જઈ શકાય તેવી શ્રેષ્ઠ પસંદગી.

સૌથી મોટાં મૉડલ: Ultraવાળું Mac Studio

M5 Ultra સાથે 1.2 TB/s પર 512 GB સુધી, જે એક જ ડેસ્ક પર સેંકડો અબજ પૅરામીટરવાળાં મૉડલ રાખે છે. એનાથી પણ મોટાં મૉડલ માટે Macને Thunderbolt 5 પર ક્લસ્ટરમાં જોડી શકાય: Mac AI ક્લસ્ટર જુઓ.

4Macને પોતાનો ખર્ચ કાઢવા દો

AI માટે ખરીદેલું Mac પોતાનો મોટા ભાગનો સમય રાહ જોવામાં વિતાવે છે. MLX Node એક મફત ઍપ છે, જે એ ફાજલ ક્ષમતા MLX Networkને આપે છે, એ જ MLX ફ્રેમવર્ક પર AI જૉબ ચલાવે છે અને ચકાસાયેલા કામ માટે MLX ટોકન કમાય છે. ચિપ સાથે મેળ ખાતી સમર્પિત સીટ કમાણી અનેક ગણી કરે છે: Pro સીટ Pro કે Max ચિપ પર પૂરા દરે ચાલે છે, Ultra સીટ Ultra ચિપ પર.

પહેલાં MLX Bench પર તમારા Macની સરખામણી કરો: તે દરેક ચિપ પર ઓપન મૉડલના માપેલા પ્રતિ સેકન્ડ ટોકન બતાવે છે.

5પ્રશ્નો

શું લોકલ LLM માટે 16 GB પૂરતી છે?

4-bit પર આશરે 14B પૅરામીટર સુધીનાં મૉડલ માટે હા. મોટાં મૉડલ કે લાંબા કૉન્ટેક્સ્ટ માટે 32 GB કે વધુ ઘણું વધારે આરામદાયક છે.

LLM માટે Mac Studio કે MacBook Pro?

બંનેમાં Max ચિપ અને 128 GB સુધી મળે છે. MacBook Pro સાથે લઈ જઈ શકાય છે; Mac Studio લાંબા લોડમાં ઠંડું રહે છે અને Ultra ચિપ તથા 512 GB સુધીનું એકમાત્ર Mac છે.

શું લોકલ AI માટે Mac Nvidia GPU કરતાં સારું છે?

ઘરે સૌથી મોટાં મૉડલ માટે, ઘણી વાર હા: Macની યુનિફાઇડ મેમરી કન્ઝ્યુમર ગ્રાફિક્સ કાર્ડની મેમરી કરતાં ઘણું વધારે રાખી શકે છે. જે મૉડલ હાઇ-એન્ડ Nvidia કાર્ડની મેમરીમાં સમાય, તેના પર તે કાર્ડ વધુ ઝડપી છે.

શું M5 LLMને ઝડપી બનાવે છે?

હા, મુખ્યત્વે પ્રૉમ્પ્ટ વાંચવામાં: Appleના માપ મુજબ MLX સાથે M5 પર પહેલો ટોકન M4 કરતાં 3.3 થી 4.1 ગણો વહેલો આવ્યો. જનરેશનની ઝડપ મેમરી બૅન્ડવિડ્થ સાથે વધે છે, જે M4થી M5માં 28% વધી.