शेजारी-शेजारी
लोकप्रिय मॉडेलसह वेग
एका संभाषणासाठी सेकंदाला टोकन, प्रत्येक चिप तिच्या सर्वात मोठ्या मेमरी आकारावर (512 GB आणि 512 GB), मॉडेलच्या बसणाऱ्या सर्वोत्तम आवृत्तीसह.
| मॉडेल | M3 Ultra | M5 Ultra |
|---|---|---|
| Llama 3.1 8B Instruct8B | 43–77 8-बिट | 64–113 8-बिट |
| gpt-oss-20b21B · 3.6B सक्रिय | 194–345 नेटिव्ह 4.25-बिट | 284–505 नेटिव्ह 4.25-बिट |
| Qwen3.6 35B A3B35B · 3B सक्रिय | 115–205 8-बिट | 169–300 8-बिट |
| Qwen3.8 27B27B | 13–23 8-बिट | 19–33 8-बिट |
| Llama 3.3 70B Instruct70B | 5–9 8-बिट | 14–24 4-बिट |
| gpt-oss-120b117B · 5.1B सक्रिय | 137–243 नेटिव्ह 4.25-बिट | 200–356 नेटिव्ह 4.25-बिट |
| Qwen3.5 122B A10B122B · 10B सक्रिय | 35–62 8-बिट | 51–91 8-बिट |
| DeepSeek V4 Flash 0731284B · 13B सक्रिय | 27–47 8-बिट | 39–70 8-बिट |
प्रश्न
- LLM साठी M5 Ultra हा M3 Ultra पेक्षा वेगवान आहे का?
- M5 Ultra हा M3 Ultra पेक्षा सुमारे 47% वेगाने मेमरी वाचतो (1,200 विरुद्ध 819 GB/s), त्यामुळे दोघांत बसणाऱ्या कोणत्याही मॉडेलसह तो सुमारे 47% वेगाने लिहितो. लांब प्रॉम्प्ट वाचणे मात्र GPU कंप्यूटवर अवलंबून असते, ते या तुलनेत नाही.
- मोठी मॉडेल कोण चालवू शकतो, M3 Ultra की M5 Ultra?
- दोघांपैकी कोणीही नाही: दोघांमध्ये 512 GB पर्यंत मेमरी मिळते. त्या आकारात 73 ओपन मॉडेलपैकी M3 Ultra वर 60 आणि M5 Ultra वर 61 चांगली चालतात; वेगवान चिप त्यांपैकी जास्त मॉडेल सेकंदाला 10 टोकनच्या पुढे नेते.
आणखी तुलना
- M2 Ultra vs M3 Ultra
- M3 Max vs M3 Ultra
- M3 Ultra vs M4 Max
- M3 Ultra vs M5 Max
- M4 Max vs M5 Ultra
- M5 Max vs M5 Ultra
लोकल AI साठी M3 Ultra · लोकल AI साठी M5 Ultra · प्रत्येक मॉडेलची तुलना करा · लोकल LLM साठी सर्वोत्तम Mac
हिशोब कसा केला
मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.