लोकल AI साठी M3.

1AI साठी महत्त्वाचे स्पेक्स

2कोणती मॉडेल बसतात

प्रति वेट 4 बिटवर मॉडेलला प्रत्येक अब्ज पॅरामीटरसाठी अर्ध्या गिगाबाइटपेक्षा थोडी जास्त मेमरी लागते, शिवाय कॉन्टेक्स्ट आणि macOS साठी जागा. 24 GB सह M3 वर सुमारे 32 अब्ज पॅरामीटरपर्यंतची मॉडेल आरामात चालतात.

3वेग किती मिळतो

मजकूर लिहिण्याचा वेग मेमरी बँडविड्थमुळे मर्यादित असतो: प्रत्येक नवीन टोकनसाठी मॉडेलचे सक्रिय वेट एकदा वाचले जातात. M3 ची 100 GB/s बँडविड्थ प्रति टोकन वाचल्या जाणाऱ्या बाइट्सने भागल्यावर खालील मर्यादा मिळते. प्रत्यक्ष रन सहसा तिच्या सुमारे 45% ते 80% पर्यंत पोहोचतात (llama.cpp बेंचमार्क).

5इतर चिपशी तुलना करा

• M3 · 8 GB
• M3 · 16 GB
• M3 · 24 GB
• M2 vs M3
• M3 vs M3 Pro
• M3 vs M4

• M2: 24 GB, 100 GB/s
• M4: 32 GB, 120 GB/s
• M3 Pro: 36 GB, 150 GB/s
• लोकल LLM साठी सर्वोत्तम Mac.

6प्रश्न

M3 वर 70B मॉडेल चालू शकते का?

आरामात नाही. 4-बिटवर 70B मॉडेलला सुमारे 40 GB लागतात, आणि M3 मध्ये जास्तीत जास्त 24 GB आहे. सुमारे 32B पॅरामीटरपर्यंतची मॉडेल चांगली बसतात.

M3 वर प्रति सेकंद किती टोकन मिळतात?

4-बिटवरील 8B मॉडेलसाठी मर्यादा सुमारे 22 टोकन प्रति सेकंद आहे, आणि प्रत्यक्ष रन तिच्या साधारण निम्म्यापासून चार-पंचमांशपर्यंत पोहोचतात. मोठी मॉडेल त्याच प्रमाणात हळू चालतात.

AI साठी M3 चांगला पर्याय आहे का?

मॉडेल लोकल चालवण्यासाठी मेमरी आणि बँडविड्थ सर्वात महत्त्वाच्या असतात. M3 मध्ये 100 GB/s वेगाने 24 GB पर्यंत मेमरी आहे, जी सुमारे 32 अब्ज पॅरामीटरपर्यंतच्या मॉडेलसाठी पुरेशी आहे. MLX Node वापरून MLX Network चे AI जॉब चालवून यातून कमाईही करता येते.