शेजारी-शेजारी
लोकप्रिय मॉडेलसह वेग
एका संभाषणासाठी सेकंदाला टोकन, प्रत्येक चिप तिच्या सर्वात मोठ्या मेमरी आकारावर (128 GB आणि 192 GB), मॉडेलच्या बसणाऱ्या सर्वोत्तम आवृत्तीसह.
| मॉडेल | M1 Ultra | M2 Ultra |
|---|---|---|
| Llama 3.1 8B Instruct8B | 42–75 8-बिट | 42–75 8-बिट |
| gpt-oss-20b21B · 3.6B सक्रिय | 189–337 नेटिव्ह 4.25-बिट | 189–337 नेटिव्ह 4.25-बिट |
| Qwen3.6 35B A3B35B · 3B सक्रिय | 113–200 8-बिट | 113–200 8-बिट |
| Qwen3.8 27B27B | 13–22 8-बिट | 13–22 8-बिट |
| Llama 3.3 70B Instruct70B | 5–9 8-बिट | 5–9 8-बिट |
| gpt-oss-120b117B · 5.1B सक्रिय | 133–237 नेटिव्ह 4.25-बिट | 133–237 नेटिव्ह 4.25-बिट |
| Qwen3.5 122B A10B122B · 10B सक्रिय | 64–114 4-बिट | 34–60 8-बिट |
| DeepSeek V4 Flash 0731284B · 13B सक्रिय | 88–156 2-बिट कमी गुणवत्ता | 63–112 3-बिट कमी गुणवत्ता |
प्रश्न
- LLM साठी M2 Ultra हा M1 Ultra पेक्षा वेगवान आहे का?
- जवळजवळ सारखेच: त्यांच्या मेमरी बँडविड्थमध्ये काही टक्क्यांचाच फरक आहे. M2 Ultra मध्ये 192 GB पर्यंत मेमरी मिळते, M1 Ultra मध्ये 128 GB पर्यंत.
- मोठी मॉडेल कोण चालवू शकतो, M1 Ultra की M2 Ultra?
- M2 Ultra: M2 Ultra मध्ये 192 GB पर्यंत मेमरी मिळते, M1 Ultra मध्ये 128 GB पर्यंत. सर्वात मोठ्या आकारात तो 73 पैकी 49 ओपन मॉडेल चांगली चालवतो, दुसरा 47.
आणखी तुलना
लोकल AI साठी M1 Ultra · लोकल AI साठी M2 Ultra · प्रत्येक मॉडेलची तुलना करा · लोकल LLM साठी सर्वोत्तम Mac
हिशोब कसा केला
मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.