प्रत्येक प्रिसिजनला मेमरी
| आवृत्ती | वेट | कॉन्टेक्स्टसह | सर्वात लहान Mac |
|---|---|---|---|
| 8-बिट | 313 GB | 339 GB | 512 GB |
| 6-बिट | 240 GB | 259 GB | 512 GB |
| 4-बिट | 166 GB | 179 GB | 256 GB |
| 3-बिट कमी गुणवत्ता | 129 GB | 139 GB | 192 GB |
| 2-बिट कमी गुणवत्ता | 92.2 GB | 99.6 GB | 192 GB |
प्रत्येक Apple चिपवर
प्रत्येक चिपचा Hy3 चालवणारा सर्वात लहान मेमरी आकार, त्यात बसणारी सर्वोत्तम आवृत्ती, आणि अपेक्षित लिहिण्याचा वेग.
| चिप | लागते | आवृत्ती | टोकन/सेकंद |
|---|---|---|---|
| M6 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M5 Ultra | 256 GB | 4-बिट चांगले चालते | 46–81 |
| M5 Max | 128 GB | 2-बिट जेमतेम | 42–74 |
| M5 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M5 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M4 Max | 128 GB | 2-बिट जेमतेम | 37–66 |
| M4 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M4 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M3 Ultra | 256 GB | 4-बिट चांगले चालते | 31–56 |
| M3 Max | 128 GB | 2-बिट जेमतेम | 27–48 |
| M3 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M3 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M2 Ultra | 192 GB | 3-बिट चांगले चालते | 39–70 |
| M2 Max | कोणताही आकार बसत नाही | खूप मोठे | – |
| M2 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M2 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M1 Ultra | 128 GB | 2-बिट जेमतेम | 55–97 |
| M1 Max | कोणताही आकार बसत नाही | खूप मोठे | – |
| M1 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M1 | कोणताही आकार बसत नाही | खूप मोठे | – |
ते कसे चालवायचे
- सोपा मार्ग: MLX Harness डाउनलोड करा, ते मोफत आणि ओपन सोर्स आहे. Hy3 शोधा, तुमच्या Mac मध्ये बसणारी आवृत्ती डाउनलोड करा, आणि चॅट करा. ते OpenAI-compatible API द्वारे हे मॉडेल तुमच्या इतर ॲप्सनाही देते.MLX Harness डाउनलोड करामोफत · Apple Silicon · macOS 14.5 किंवा नंतरचे
- Terminal मध्ये Apple च्या MLX सह:
pip install mlx-lmmlx_lm.chat --model mlx-community/Hy3-OptiQ-2bitबिल्ड: Hugging Face वर mlx-community/Hy3-OptiQ-2bit. इतर प्रिसिजन त्याच्याच शेजारी आहेत.
टप्प्याटप्प्याने: Mac वर LLM डाउनलोड करा आणि चालवा · MLX Harness कसे वापरायचे · MLX विरुद्ध Ollama विरुद्ध llama.cpp
Hy3 बद्दल
| निर्माते | Tencent |
|---|---|
| पॅरामीटर | 295B एकूण · 21B सक्रिय (mixture of experts) |
| कॉन्टेक्स्ट | 256K टोकन |
| परवाना | Apache-2.0 |
| प्रकाशित | 2026-07 |
| इनपुट | मजकूर |
| इंटेलिजन्स | Artificial Analysis Intelligence Index वर 25.3 |
| वेट | tencent/Hy3 |
प्रश्न
- Hy3 ला किती मेमरी लागते?
- 4-बिट ला सुमारे 166 GB वेट, शिवाय कॉन्टेक्स्टसाठी जागा: एकूण 179 GB. Mac वर याचा अर्थ 256 GB किंवा जास्त युनिफाइड मेमरी, कारण डिफॉल्टनुसार macOS GPU ला त्यापैकी सुमारे 75% वापरू देते.
- Mac वर Hy3 किती वेगाने चालते?
- लिहिण्याचा वेग मेमरी बँडविड्थवर अवलंबून असतो. यासाठी इथला सर्वात वेगवान Mac 256 GB असलेला M5 Ultra आहे, सेकंदाला सुमारे 46–81 टोकन (4-बिट). ते चालवणारा सर्वात लहान Mac, 256 GB असलेला M5 Ultra, सुमारे 46–81 पर्यंत पोहोचतो.
- Hy3 त्याच्या आकाराच्या मानाने वेगाने का चालते?
- हे mixture-of-experts मॉडेल आहे: ते मेमरीत 295B पॅरामीटर ठेवते, पण प्रत्येक टोकनसाठी फक्त 21B वाचते, त्यामुळे ते खूप लहान मॉडेलच्या वेगाने लिहिते.
तत्सम मॉडेल
तुमच्या मॉडेल कार्ड किंवा README साठी
Hy3 चांगले चालवणारा सर्वात लहान Mac दाखवते आणि इथे लिंक करते.
[](https://mlx.app/run/hy3)हिशोब कसा केला
मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.