लोकल AI साठी M5.

1AI साठी महत्त्वाचे स्पेक्स

2कोणती मॉडेल बसतात

प्रति वेट 4 बिटवर मॉडेलला प्रत्येक अब्ज पॅरामीटरसाठी अर्ध्या गिगाबाइटपेक्षा थोडी जास्त मेमरी लागते, शिवाय कॉन्टेक्स्ट आणि macOS साठी जागा. 32 GB सह M5 वर सुमारे 42 अब्ज पॅरामीटरपर्यंतची मॉडेल आरामात चालतात.

3वेग किती मिळतो

मजकूर लिहिण्याचा वेग मेमरी बँडविड्थमुळे मर्यादित असतो: प्रत्येक नवीन टोकनसाठी मॉडेलचे सक्रिय वेट एकदा वाचले जातात. M5 ची 153 GB/s बँडविड्थ प्रति टोकन वाचल्या जाणाऱ्या बाइट्सने भागल्यावर खालील मर्यादा मिळते. प्रत्यक्ष रन सहसा तिच्या सुमारे 45% ते 80% पर्यंत पोहोचतात (llama.cpp बेंचमार्क).

मोजलेले: M5 (10-core GPU) वर llama.cpp त्याच्या सार्वजनिक बेंचमार्कमध्ये Llama-2-7B (Q4_0) सह प्रति सेकंद 32 टोकन तयार करते.

M5 पिढीच्या चिपच्या GPU मध्ये न्यूरल ॲक्सिलरेटर आहेत, त्यामुळे त्या M4 पेक्षा कितीतरी पट वेगाने प्रॉम्प्ट वाचतात: Apple च्या मोजणीत MLX सह पहिला टोकन 3.3 ते 4.1 पट लवकर आला (Apple).

5इतर चिपशी तुलना करा

• M5 · 16 GB
• M5 · 24 GB
• M5 · 32 GB
• M4 vs M5
• M5 vs M5 Pro
• M5 vs M6

• M4: 32 GB, 120 GB/s
• M6: 32 GB, 170 GB/s
• M5 Pro: 64 GB, 307 GB/s
• लोकल LLM साठी सर्वोत्तम Mac.

6प्रश्न

M5 वर 70B मॉडेल चालू शकते का?

आरामात नाही. 4-बिटवर 70B मॉडेलला सुमारे 40 GB लागतात, आणि M5 मध्ये जास्तीत जास्त 32 GB आहे. सुमारे 42B पॅरामीटरपर्यंतची मॉडेल चांगली बसतात.

M5 वर प्रति सेकंद किती टोकन मिळतात?

4-बिटवरील 8B मॉडेलसाठी मर्यादा सुमारे 34 टोकन प्रति सेकंद आहे, आणि प्रत्यक्ष रन तिच्या साधारण निम्म्यापासून चार-पंचमांशपर्यंत पोहोचतात. मोठी मॉडेल त्याच प्रमाणात हळू चालतात.

AI साठी M5 चांगला पर्याय आहे का?

मॉडेल लोकल चालवण्यासाठी मेमरी आणि बँडविड्थ सर्वात महत्त्वाच्या असतात. M5 मध्ये 153 GB/s वेगाने 32 GB पर्यंत मेमरी आहे, जी सुमारे 42 अब्ज पॅरामीटरपर्यंतच्या मॉडेलसाठी पुरेशी आहे. MLX Node वापरून MLX Network चे AI जॉब चालवून यातून कमाईही करता येते.