AI માટે Mac mini vs Mac Studio.

1AI માટે મહત્ત્વનાં સ્પેસિફિકેશન

દરેક કૉન્ફિગરેશન તેના પર સારી રીતે ચાલતાં મૉડલની લિંક આપે છે. અગાઉનાં મૉડલ પણ આ જ રીતે કામ કરે છે: M4 કે M4 Proવાળું Mac mini, અને M4 Max કે M3 Ultraવાળું Mac Studio (દરેક Macનું રૅન્કિંગ).

2દરેક કેટલી ઝડપથી લખે છે

ટેક્સ્ટ લખતી વખતે મૉડલ દરેક ટોકન માટે પોતાના સક્રિય વેઇટ એક વાર વાંચે છે, એટલે મેમરી બૅન્ડવિડ્થ ઝડપની ટોચમર્યાદા નક્કી કરે છે. 4-bit પર 32B dense મૉડલ માટે, આશરે 18 GB:

Mixture-of-experts મૉડલ દરેક ટોકન માટે પોતાના વેઇટનો નાનો ભાગ જ વાંચે છે, એટલે તે પોતાના કદ પરથી લાગે તેના કરતાં ઘણાં ઝડપથી લખે છે: તે સમાય કે નહીં તે મેમરી નક્કી કરે છે, ઝડપ હજી બૅન્ડવિડ્થ નક્કી કરે છે. લાંબો પ્રૉમ્પ્ટ વાંચવો બૅન્ડવિડ્થ કરતાં GPUની ગણતરી-શક્તિ પર વધુ આધાર રાખે છે, અને ત્યાં Max અને Ultra ચિપનાં મોટાં GPU વધુ આગળ નીકળી જાય છે.

3કયાં મૉડલ માટે કયું

• નાનાં અને મધ્યમ કદનાં મૉડલ (4-bit પર આશરે 30B સુધી), ચૅટ, કોડિંગ મદદ, ઘરનું AI સર્વર: 48 કે 64 GB સાથે M5 Proવાળું Mac mini. 32 GBવાળું M6 Mac mini એ જ કદ આશરે અડધી ઝડપે ચલાવે છે.
• 70B શ્રેણીનાં મૉડલ, gpt-oss-120b, લાંબો કૉન્ટેક્સ્ટ કે એક સાથે કેટલાંક મૉડલ: 128 GB સાથે M5 Maxવાળું Mac Studio. OpenAIની પોતાની gpt-oss-120b ફાઇલો આશરે 65 GB છે (OpenAI), જે કોઈ પણ Mac mini પોતાના GPUને આપી શકે તેના કરતાં વધુ છે.
• સૌથી મોટાં ઓપન મૉડલ (સેંકડો અબજ પૅરામીટર): 256 કે 512 GB સાથે M5 Ultraવાળું Mac Studio, કે કેટલાંક Mac સાથે (Mac AI ક્લસ્ટર).

કોઈ ચોક્કસ મૉડલ માટે, તેનું પેજ તેને ચલાવતું સૌથી નાનું Mac અને દરેક ચિપ પરની ઝડપ બતાવે છે: દરેક ઓપન મૉડલ.

4આખો દિવસ ચલાવવું

બંને શાંત, કરકસરિયાં, હંમેશાં ચાલુ રહેતાં મશીન બને છે. ઉપરના Appleના આંકડા પ્રમાણે Mac mini નિષ્ક્રિય હોય ત્યારે 4–6 W અને Mac Studio 7–9 W વાપરે છે; પૂરા લોડ પર M5 Ultraવાળું Mac Studio 385 W સુધી લઈ શકે છે. AI સર્વર તરીકે Mac mini તેને જાગતું રાખવાનું અને બીજાં ડિવાઇસને મૉડલ આપવાનું સમજાવે છે, અને Mac કેટલી વીજળી વાપરે છે એક દિવસનો ખર્ચ.

નિષ્ક્રિય હોય ત્યારે MLX Node MLX Network માટે AI જૉબ ચલાવીને MLX ટોકન કમાઈ શકે છે. ચિપ સાથે મેળ ખાતી સમર્પિત સીટ વધુ ઝડપથી માઇન કરે છે: M6 માટે Core, M5 Pro અને M5 Max માટે Pro, M5 Ultra માટે Ultra. કમાણીની ગૅરંટી નથી: જોખમો વાંચો.

5પ્રશ્નો

AI માટે Mac mini કરતાં Mac Studio લેવું યોગ્ય છે?

આશરે 85B પૅરામીટરથી મોટાં મૉડલ, gpt-oss-120b કે લાંબો કૉન્ટેક્સ્ટ જોઈએ તો હા: ફક્ત Mac Studioમાં 64 GBથી વધુ છે. 4-bit પર આશરે 30B સુધીનાં મૉડલ M5 Proવાળું Mac mini ચલાવે છે, M5 Maxની આશરે અડધી બૅન્ડવિડ્થ પર.

શું Mac mini 70B મૉડલ ચલાવી શકે?

ફક્ત 64 GBવાળું M5 Pro, 4-bit પર અને ટૂંકા કૉન્ટેક્સ્ટ સાથે: GPU ડિફૉલ્ટ રીતે વાપરી શકે તે 48 GBમાં આશરે 39 GB વેઇટ, પ્રતિ સેકન્ડ થોડા ટોકન. 128 GBવાળું Mac Studio તેને કૉન્ટેક્સ્ટ માટે જગ્યા સાથે અને આશરે બમણી ઝડપે ચલાવે છે.

LLM માટે Mac Studio M5 Max કે M5 Ultra?

M5 Ultraની બૅન્ડવિડ્થ આશરે બમણી છે (614 સામે 1,200 GB/s), એટલે તે આશરે બમણી ઝડપે લખે છે, અને 512 GB સુધી જાય છે. 128 GBવાળું M5 Max 4-bit પર આશરે 170B સુધીનાં મૉડલ ચલાવે છે. M5 Max vs M5 Ultra જુઓ.

AI માટે Mac mini M6 કે M5 Pro?

M5 Pro: તે 24 કે 32 GBવાળા M6 કરતાં આશરે 80% ઝડપથી મેમરી વાંચે છે અને 32 GBને બદલે 64 GB સુધી જાય છે.