लोकल AI साठी M1 Ultra.

1AI साठी महत्त्वाचे स्पेक्स

2कोणती मॉडेल बसतात

प्रति वेट 4 बिटवर मॉडेलला प्रत्येक अब्ज पॅरामीटरसाठी अर्ध्या गिगाबाइटपेक्षा थोडी जास्त मेमरी लागते, शिवाय कॉन्टेक्स्ट आणि macOS साठी जागा. 128 GB सह M1 Ultra वर सुमारे 170 अब्ज पॅरामीटरपर्यंतची मॉडेल आरामात चालतात.

3वेग किती मिळतो

मजकूर लिहिण्याचा वेग मेमरी बँडविड्थमुळे मर्यादित असतो: प्रत्येक नवीन टोकनसाठी मॉडेलचे सक्रिय वेट एकदा वाचले जातात. M1 Ultra ची 800 GB/s बँडविड्थ प्रति टोकन वाचल्या जाणाऱ्या बाइट्सने भागल्यावर खालील मर्यादा मिळते. प्रत्यक्ष रन सहसा तिच्या सुमारे 45% ते 80% पर्यंत पोहोचतात (llama.cpp बेंचमार्क).

5इतर चिपशी तुलना करा

• M1 Ultra · 64 GB
• M1 Ultra · 128 GB
• M1 Max vs M1 Ultra
• M1 Ultra vs M2 Ultra

• M2 Ultra: 192 GB, 800 GB/s
• M1 Max: 64 GB, 400 GB/s
• लोकल LLM साठी सर्वोत्तम Mac.

6प्रश्न

M1 Ultra वर 70B मॉडेल चालू शकते का?

हो. 4-बिटवर 70B मॉडेलला सुमारे 40 GB लागतात, आणि M1 Ultra मध्ये 128 GB पर्यंत मेमरी आहे. एका चॅटसाठी सुमारे 20 टोकन प्रति सेकंद इतकी मर्यादा अपेक्षित धरा.

M1 Ultra वर प्रति सेकंद किती टोकन मिळतात?

4-बिटवरील 8B मॉडेलसाठी मर्यादा सुमारे 178 टोकन प्रति सेकंद आहे, आणि प्रत्यक्ष रन तिच्या साधारण निम्म्यापासून चार-पंचमांशपर्यंत पोहोचतात. मोठी मॉडेल त्याच प्रमाणात हळू चालतात.

AI साठी M1 Ultra चांगला पर्याय आहे का?

मॉडेल लोकल चालवण्यासाठी मेमरी आणि बँडविड्थ सर्वात महत्त्वाच्या असतात. M1 Ultra मध्ये 800 GB/s वेगाने 128 GB पर्यंत मेमरी आहे, जी सुमारे 170 अब्ज पॅरामीटरपर्यंतच्या मॉडेलसाठी पुरेशी आहे. MLX Node वापरून MLX Network चे AI जॉब चालवून यातून कमाईही करता येते.