लोकल AI साठी M2 Pro.

1AI साठी महत्त्वाचे स्पेक्स

2कोणती मॉडेल बसतात

प्रति वेट 4 बिटवर मॉडेलला प्रत्येक अब्ज पॅरामीटरसाठी अर्ध्या गिगाबाइटपेक्षा थोडी जास्त मेमरी लागते, शिवाय कॉन्टेक्स्ट आणि macOS साठी जागा. 32 GB सह M2 Pro वर सुमारे 42 अब्ज पॅरामीटरपर्यंतची मॉडेल आरामात चालतात.

3वेग किती मिळतो

मजकूर लिहिण्याचा वेग मेमरी बँडविड्थमुळे मर्यादित असतो: प्रत्येक नवीन टोकनसाठी मॉडेलचे सक्रिय वेट एकदा वाचले जातात. M2 Pro ची 200 GB/s बँडविड्थ प्रति टोकन वाचल्या जाणाऱ्या बाइट्सने भागल्यावर खालील मर्यादा मिळते. प्रत्यक्ष रन सहसा तिच्या सुमारे 45% ते 80% पर्यंत पोहोचतात (llama.cpp बेंचमार्क).

5इतर चिपशी तुलना करा

• M2 Pro · 16 GB
• M2 Pro · 32 GB
• M1 Pro vs M2 Pro
• M2 vs M2 Pro
• M2 Pro vs M2 Max
• M2 Pro vs M3 Pro

• M1 Pro: 32 GB, 200 GB/s
• M3 Pro: 36 GB, 150 GB/s
• M2: 24 GB, 100 GB/s
• M2 Max: 96 GB, 400 GB/s
• लोकल LLM साठी सर्वोत्तम Mac.

6प्रश्न

M2 Pro वर 70B मॉडेल चालू शकते का?

आरामात नाही. 4-बिटवर 70B मॉडेलला सुमारे 40 GB लागतात, आणि M2 Pro मध्ये जास्तीत जास्त 32 GB आहे. सुमारे 42B पॅरामीटरपर्यंतची मॉडेल चांगली बसतात.

M2 Pro वर प्रति सेकंद किती टोकन मिळतात?

4-बिटवरील 8B मॉडेलसाठी मर्यादा सुमारे 44 टोकन प्रति सेकंद आहे, आणि प्रत्यक्ष रन तिच्या साधारण निम्म्यापासून चार-पंचमांशपर्यंत पोहोचतात. मोठी मॉडेल त्याच प्रमाणात हळू चालतात.

AI साठी M2 Pro चांगला पर्याय आहे का?

मॉडेल लोकल चालवण्यासाठी मेमरी आणि बँडविड्थ सर्वात महत्त्वाच्या असतात. M2 Pro मध्ये 200 GB/s वेगाने 32 GB पर्यंत मेमरी आहे, जी सुमारे 42 अब्ज पॅरामीटरपर्यंतच्या मॉडेलसाठी पुरेशी आहे. MLX Node वापरून MLX Network चे AI जॉब चालवून यातून कमाईही करता येते.