लोकल AI साठी M3 Max.

1AI साठी महत्त्वाचे स्पेक्स

2कोणती मॉडेल बसतात

प्रति वेट 4 बिटवर मॉडेलला प्रत्येक अब्ज पॅरामीटरसाठी अर्ध्या गिगाबाइटपेक्षा थोडी जास्त मेमरी लागते, शिवाय कॉन्टेक्स्ट आणि macOS साठी जागा. 128 GB सह M3 Max वर सुमारे 170 अब्ज पॅरामीटरपर्यंतची मॉडेल आरामात चालतात.

3वेग किती मिळतो

मजकूर लिहिण्याचा वेग मेमरी बँडविड्थमुळे मर्यादित असतो: प्रत्येक नवीन टोकनसाठी मॉडेलचे सक्रिय वेट एकदा वाचले जातात. M3 Max ची 400 GB/s बँडविड्थ प्रति टोकन वाचल्या जाणाऱ्या बाइट्सने भागल्यावर खालील मर्यादा मिळते. प्रत्यक्ष रन सहसा तिच्या सुमारे 45% ते 80% पर्यंत पोहोचतात (llama.cpp बेंचमार्क).

5इतर चिपशी तुलना करा

• M3 Max · 36 GB
• M3 Max · 48 GB
• M3 Max · 64 GB
• M3 Max · 96 GB
• M3 Max · 128 GB
• M2 Max vs M3 Max
• M3 Pro vs M3 Max
• M3 Max vs M3 Ultra
• M3 Max vs M4 Max

• M2 Max: 96 GB, 400 GB/s
• M4 Max: 128 GB, 546 GB/s
• M3 Pro: 36 GB, 150 GB/s
• M3 Ultra: 512 GB, 819 GB/s
• लोकल LLM साठी सर्वोत्तम Mac.

6प्रश्न

M3 Max वर 70B मॉडेल चालू शकते का?

हो. 4-बिटवर 70B मॉडेलला सुमारे 40 GB लागतात, आणि M3 Max मध्ये 128 GB पर्यंत मेमरी आहे. एका चॅटसाठी सुमारे 10 टोकन प्रति सेकंद इतकी मर्यादा अपेक्षित धरा.

M3 Max वर प्रति सेकंद किती टोकन मिळतात?

4-बिटवरील 8B मॉडेलसाठी मर्यादा सुमारे 89 टोकन प्रति सेकंद आहे, आणि प्रत्यक्ष रन तिच्या साधारण निम्म्यापासून चार-पंचमांशपर्यंत पोहोचतात. मोठी मॉडेल त्याच प्रमाणात हळू चालतात.

AI साठी M3 Max चांगला पर्याय आहे का?

मॉडेल लोकल चालवण्यासाठी मेमरी आणि बँडविड्थ सर्वात महत्त्वाच्या असतात. M3 Max मध्ये 400 GB/s वेगाने 128 GB पर्यंत मेमरी आहे, जी सुमारे 170 अब्ज पॅरामीटरपर्यंतच्या मॉडेलसाठी पुरेशी आहे. MLX Node वापरून MLX Network चे AI जॉब चालवून यातून कमाईही करता येते.