लोकल AI साठी M5 Pro.

1AI साठी महत्त्वाचे स्पेक्स

2कोणती मॉडेल बसतात

प्रति वेट 4 बिटवर मॉडेलला प्रत्येक अब्ज पॅरामीटरसाठी अर्ध्या गिगाबाइटपेक्षा थोडी जास्त मेमरी लागते, शिवाय कॉन्टेक्स्ट आणि macOS साठी जागा. 64 GB सह M5 Pro वर सुमारे 85 अब्ज पॅरामीटरपर्यंतची मॉडेल आरामात चालतात.

3वेग किती मिळतो

मजकूर लिहिण्याचा वेग मेमरी बँडविड्थमुळे मर्यादित असतो: प्रत्येक नवीन टोकनसाठी मॉडेलचे सक्रिय वेट एकदा वाचले जातात. M5 Pro ची 307 GB/s बँडविड्थ प्रति टोकन वाचल्या जाणाऱ्या बाइट्सने भागल्यावर खालील मर्यादा मिळते. प्रत्यक्ष रन सहसा तिच्या सुमारे 45% ते 80% पर्यंत पोहोचतात (llama.cpp बेंचमार्क).

M5 पिढीच्या चिपच्या GPU मध्ये न्यूरल ॲक्सिलरेटर आहेत, त्यामुळे त्या M4 पेक्षा कितीतरी पट वेगाने प्रॉम्प्ट वाचतात: Apple च्या मोजणीत MLX सह पहिला टोकन 3.3 ते 4.1 पट लवकर आला (Apple).

5इतर चिपशी तुलना करा

• M5 Pro · 24 GB
• M5 Pro · 48 GB
• M5 Pro · 64 GB
• M4 Pro vs M5 Pro
• M5 vs M5 Pro
• M5 Pro vs M5 Max

• M4 Pro: 64 GB, 273 GB/s
• M5: 32 GB, 153 GB/s
• M5 Max: 128 GB, 614 GB/s
• लोकल LLM साठी सर्वोत्तम Mac.

6प्रश्न

M5 Pro वर 70B मॉडेल चालू शकते का?

हो. 4-बिटवर 70B मॉडेलला सुमारे 40 GB लागतात, आणि M5 Pro मध्ये 64 GB पर्यंत मेमरी आहे. एका चॅटसाठी सुमारे 8 टोकन प्रति सेकंद इतकी मर्यादा अपेक्षित धरा.

M5 Pro वर प्रति सेकंद किती टोकन मिळतात?

4-बिटवरील 8B मॉडेलसाठी मर्यादा सुमारे 68 टोकन प्रति सेकंद आहे, आणि प्रत्यक्ष रन तिच्या साधारण निम्म्यापासून चार-पंचमांशपर्यंत पोहोचतात. मोठी मॉडेल त्याच प्रमाणात हळू चालतात.

AI साठी M5 Pro चांगला पर्याय आहे का?

मॉडेल लोकल चालवण्यासाठी मेमरी आणि बँडविड्थ सर्वात महत्त्वाच्या असतात. M5 Pro मध्ये 307 GB/s वेगाने 64 GB पर्यंत मेमरी आहे, जी सुमारे 85 अब्ज पॅरामीटरपर्यंतच्या मॉडेलसाठी पुरेशी आहे. MLX Node वापरून MLX Network चे AI जॉब चालवून यातून कमाईही करता येते.