हर प्रिसिज़न पर मेमोरी
| वर्ज़न | वेट | कॉन्टेक्स्ट के साथ | सबसे छोटा Mac |
|---|---|---|---|
| 8-बिट | 313 GB | 339 GB | 512 GB |
| 6-बिट | 240 GB | 259 GB | 512 GB |
| 4-बिट | 166 GB | 179 GB | 256 GB |
| 3-बिट कम क्वालिटी | 129 GB | 139 GB | 192 GB |
| 2-बिट कम क्वालिटी | 92.2 GB | 99.6 GB | 192 GB |
हर Apple चिप पर
हर चिप का सबसे छोटा मेमोरी साइज़ जो Hy3 चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।
| चिप | ज़रूरत | वर्ज़न | टोकन/सेकंड |
|---|---|---|---|
| M6 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M5 Ultra | 256 GB | 4-बिट अच्छा चलता है | 46–81 |
| M5 Max | 128 GB | 2-बिट मुश्किल से | 42–74 |
| M5 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M5 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M4 Max | 128 GB | 2-बिट मुश्किल से | 37–66 |
| M4 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M4 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M3 Ultra | 256 GB | 4-बिट अच्छा चलता है | 31–56 |
| M3 Max | 128 GB | 2-बिट मुश्किल से | 27–48 |
| M3 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M3 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 Ultra | 192 GB | 3-बिट अच्छा चलता है | 39–70 |
| M2 Max | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M2 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 Ultra | 128 GB | 2-बिट मुश्किल से | 55–97 |
| M1 Max | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 Pro | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
| M1 | कोई साइज़ फ़िट नहीं | बहुत बड़ा | – |
इसे कैसे चलाएँ
- आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Hy3 खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
- Terminal में Apple के MLX के साथ:
pip install mlx-lmmlx_lm.chat --model mlx-community/Hy3-OptiQ-2bitबिल्ड: Hugging Face पर mlx-community/Hy3-OptiQ-2bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।
स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp
Hy3 के बारे में
| बनाने वाला | Tencent |
|---|---|
| पैरामीटर | 295B कुल · 21B सक्रिय (mixture of experts) |
| कॉन्टेक्स्ट | 256K टोकन |
| लाइसेंस | Apache-2.0 |
| रिलीज़ | 2026-07 |
| इनपुट | टेक्स्ट |
| इंटेलिजेंस | Artificial Analysis Intelligence Index पर 25.3 |
| वेट | tencent/Hy3 |
सवाल
- Hy3 को कितनी मेमोरी चाहिए?
- 4-बिट पर लगभग 166 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 179 GB। Mac पर इसका मतलब है 256 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
- Mac पर Hy3 कितना तेज़ चलता है?
- लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 256 GB वाला M5 Ultra है, लगभग 46–81 टोकन प्रति सेकंड (4-बिट)। इसे चलाने वाला सबसे छोटा Mac, 256 GB वाला M5 Ultra, लगभग 46–81 तक पहुँचता है।
- Hy3 अपने साइज़ के हिसाब से तेज़ क्यों चलता है?
- यह mixture-of-experts मॉडल है: यह मेमोरी में 295B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 21B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।
मिलते-जुलते मॉडल
आपके मॉडल कार्ड या README के लिए
Hy3 को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।
[](https://mlx.app/run/hy3)हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।