लॉग इनवॉलेट बनाएँ

क्या Mac पर Hy-Memory-30B-A3B चल सकता है?

हाँ, 32 GB या ज़्यादा यूनिफ़ाइड मेमोरी के साथ। Hy-Memory-30B-A3B में 30.1B पैरामीटर हैं, जिनमें से हर टोकन के लिए 3.2B सक्रिय रहते हैं; यहाँ देखें कि हर प्रिसिज़न पर इसे कितनी मेमोरी चाहिए और हर Apple चिप इसे कितनी तेज़ी से चलाती है।

अपडेट किया गया

4-बिट पर मेमोरी18.4 GBवेट 16.9 GB + कॉन्टेक्स्ट
सबसे छोटा Mac32 GB4-बिट · 55 Mac कॉन्फ़िगरेशन
सबसे तेज़ Mac159–282टोकन/सेकंड · M5 Ultra 96 GB (अनुमान)

हर प्रिसिज़न पर मेमोरी

वर्ज़नवेटकॉन्टेक्स्ट के साथसबसे छोटा Mac
8-बिट31.9 GB34.5 GB48 GB
6-बिट24.4 GB26.4 GB36 GB
4-बिट16.9 GB18.4 GB32 GB
3-बिट कम क्वालिटी13.2 GB14.7 GB24 GB
2-बिट कम क्वालिटी9.4 GB10.9 GB16 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो Hy-Memory-30B-A3B चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिपज़रूरतवर्ज़नटोकन/सेकंड
M632 GB4-बिट अच्छा चलता है43–76
M5 Ultra96 GB8-बिट अच्छा चलता है159–282
M5 Max36 GB6-बिट अच्छा चलता है80–142
M5 Pro48 GB8-बिट अच्छा चलता है41–72
M532 GB4-बिट अच्छा चलता है38–68
M4 Max36 GB6-बिट अच्छा चलता है71–126
M4 Pro48 GB8-बिट अच्छा चलता है36–64
M432 GB4-बिट अच्छा चलता है30–53
M3 Ultra96 GB8-बिट अच्छा चलता है108–193
M3 Max36 GB6-बिट अच्छा चलता है52–92
M3 Pro36 GB6-बिट अच्छा चलता है26–46
M316 GB2-बिट अच्छा चलता है45–80
M2 Ultra64 GB8-बिट अच्छा चलता है106–188
M2 Max32 GB4-बिट अच्छा चलता है100–178
M2 Pro32 GB4-बिट अच्छा चलता है50–89
M216 GB2-बिट अच्छा चलता है45–80
M1 Ultra64 GB8-बिट अच्छा चलता है106–188
M1 Max32 GB4-बिट अच्छा चलता है100–178
M1 Pro32 GB4-बिट अच्छा चलता है50–89
M116 GB2-बिट अच्छा चलता है31–54

इसे कैसे चलाएँ

  1. आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Hy-Memory-30B-A3B खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
  2. Terminal में Apple के MLX के साथ:pip install mlx-lmmlx_lm.chat --model mlx-community/Hy-Memory-30B-A3B-4bit --trust-remote-code--trust-remote-code से mlx-lm इस बिल्ड के साथ आने वाला Python कोड चला पाता है, जिसके बिना मॉडल लोड नहीं होता।बिल्ड: Hugging Face पर mlx-community/Hy-Memory-30B-A3B-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

Hy-Memory-30B-A3B के बारे में

बनाने वालाTencent
पैरामीटर30.1B कुल · 3.2B सक्रिय (mixture of experts)
कॉन्टेक्स्ट256K टोकन
लाइसेंसApache-2.0
रिलीज़2026-10
इनपुटटेक्स्ट
वेटtencent/Hy-Memory-30B-A3B

सवाल

Hy-Memory-30B-A3B को कितनी मेमोरी चाहिए?
4-बिट पर लगभग 16.9 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 18.4 GB। Mac पर इसका मतलब है 32 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर Hy-Memory-30B-A3B कितना तेज़ चलता है?
लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 159–282 टोकन प्रति सेकंड (8-बिट)। इसे चलाने वाला सबसे छोटा Mac, 32 GB वाला M2 Max, लगभग 100–178 तक पहुँचता है।
Hy-Memory-30B-A3B अपने साइज़ के हिसाब से तेज़ क्यों चलता है?
यह mixture-of-experts मॉडल है: यह मेमोरी में 30.1B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 3.2B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Runs on a Mac: Hy-Memory-30B-A3B Hy-Memory-30B-A3B को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/hy-memory-30b-a3b.svg)](https://mlx.app/run/hy-memory-30b-a3b)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

ओपन डेटा: mlx.app/data (JSON, CSV)

क्या Mac पर Hy-Memory-30B-A3B चलेगा? मेमोरी और स्पीड