लोकल AI साठी M1 Max.

1AI साठी महत्त्वाचे स्पेक्स

2कोणती मॉडेल बसतात

प्रति वेट 4 बिटवर मॉडेलला प्रत्येक अब्ज पॅरामीटरसाठी अर्ध्या गिगाबाइटपेक्षा थोडी जास्त मेमरी लागते, शिवाय कॉन्टेक्स्ट आणि macOS साठी जागा. 64 GB सह M1 Max वर सुमारे 85 अब्ज पॅरामीटरपर्यंतची मॉडेल आरामात चालतात.

3वेग किती मिळतो

मजकूर लिहिण्याचा वेग मेमरी बँडविड्थमुळे मर्यादित असतो: प्रत्येक नवीन टोकनसाठी मॉडेलचे सक्रिय वेट एकदा वाचले जातात. M1 Max ची 400 GB/s बँडविड्थ प्रति टोकन वाचल्या जाणाऱ्या बाइट्सने भागल्यावर खालील मर्यादा मिळते. प्रत्यक्ष रन सहसा तिच्या सुमारे 45% ते 80% पर्यंत पोहोचतात (llama.cpp बेंचमार्क).

5इतर चिपशी तुलना करा

• M1 Max · 32 GB
• M1 Max · 64 GB
• M1 Pro vs M1 Max
• M1 Max vs M1 Ultra
• M1 Max vs M2 Max
• M1 Max vs M4 Max
• M1 Max vs M5 Max

• M2 Max: 96 GB, 400 GB/s
• M1 Pro: 32 GB, 200 GB/s
• M1 Ultra: 128 GB, 800 GB/s
• लोकल LLM साठी सर्वोत्तम Mac.

6प्रश्न

M1 Max वर 70B मॉडेल चालू शकते का?

हो. 4-बिटवर 70B मॉडेलला सुमारे 40 GB लागतात, आणि M1 Max मध्ये 64 GB पर्यंत मेमरी आहे. एका चॅटसाठी सुमारे 10 टोकन प्रति सेकंद इतकी मर्यादा अपेक्षित धरा.

M1 Max वर प्रति सेकंद किती टोकन मिळतात?

4-बिटवरील 8B मॉडेलसाठी मर्यादा सुमारे 89 टोकन प्रति सेकंद आहे, आणि प्रत्यक्ष रन तिच्या साधारण निम्म्यापासून चार-पंचमांशपर्यंत पोहोचतात. मोठी मॉडेल त्याच प्रमाणात हळू चालतात.

AI साठी M1 Max चांगला पर्याय आहे का?

मॉडेल लोकल चालवण्यासाठी मेमरी आणि बँडविड्थ सर्वात महत्त्वाच्या असतात. M1 Max मध्ये 400 GB/s वेगाने 64 GB पर्यंत मेमरी आहे, जी सुमारे 85 अब्ज पॅरामीटरपर्यंतच्या मॉडेलसाठी पुरेशी आहे. MLX Node वापरून MLX Network चे AI जॉब चालवून यातून कमाईही करता येते.