लॉग इनवॉलेट बनाएँ

क्या Mac पर Qwen3.5 397B A17B चल सकता है?

हाँ, 512 GB या ज़्यादा यूनिफ़ाइड मेमोरी के साथ। Qwen3.5 397B A17B में 397B पैरामीटर हैं, जिनमें से हर टोकन के लिए 17B सक्रिय रहते हैं; यहाँ देखें कि हर प्रिसिज़न पर इसे कितनी मेमोरी चाहिए और हर Apple चिप इसे कितनी तेज़ी से चलाती है।

4-बिट पर मेमोरी241 GBवेट 223 GB + कॉन्टेक्स्ट
सबसे छोटा Mac512 GB6-बिट · 5 Mac कॉन्फ़िगरेशन
सबसे तेज़ Mac39–70टोकन/सेकंड · M5 Ultra 512 GB (अनुमान)

हर प्रिसिज़न पर मेमोरी

वर्ज़नवेटकॉन्टेक्स्ट के साथसबसे छोटा Mac
8-बिट422 GB456 GBकिसी भी Mac से ज़्यादा
6-बिट323 GB348 GB512 GB
4-बिट223 GB241 GB512 GB
3-बिट कम क्वालिटी174 GB188 GB256 GB
2-बिट कम क्वालिटी124 GB134 GB192 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो Qwen3.5 397B A17B चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिपज़रूरतवर्ज़नटोकन/सेकंड
M6कोई साइज़ फ़िट नहींबहुत बड़ा–
M5 Ultra512 GB6-बिट अच्छा चलता है39–70
M5 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M5 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M5कोई साइज़ फ़िट नहींबहुत बड़ा–
M4 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M4 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M4कोई साइज़ फ़िट नहींबहुत बड़ा–
M3 Ultra512 GB6-बिट अच्छा चलता है27–47
M3 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M3 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M3कोई साइज़ फ़िट नहींबहुत बड़ा–
M2 Ultra192 GB2-बिट अच्छा चलता है68–121
M2 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M2 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M2कोई साइज़ फ़िट नहींबहुत बड़ा–
M1 Ultraकोई साइज़ फ़िट नहींबहुत बड़ा–
M1 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M1 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M1कोई साइज़ फ़िट नहींबहुत बड़ा–

इसे कैसे चलाएँ

  1. आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Qwen3.5 397B A17B खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
  2. Terminal में Apple के MLX के साथ:pip install mlx-lmmlx_lm.chat --model mlx-community/Qwen3.5-397B-A17B-4bitबिल्ड: Hugging Face पर mlx-community/Qwen3.5-397B-A17B-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

Qwen3.5 397B A17B के बारे में

बनाने वालाQwen (Alibaba)
पैरामीटर397B कुल · 17B सक्रिय (mixture of experts)
कॉन्टेक्स्ट256K टोकन
लाइसेंसApache-2.0
रिलीज़2026-02
इनपुटटेक्स्ट और इमेज
इंटेलिजेंसArtificial Analysis Intelligence Index पर 18.4
वेटQwen/Qwen3.5-397B-A17B

सवाल

Qwen3.5 397B A17B को कितनी मेमोरी चाहिए?
4-बिट पर लगभग 223 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 241 GB। Mac पर इसका मतलब है 512 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर Qwen3.5 397B A17B कितना तेज़ चलता है?
लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 512 GB वाला M5 Ultra है, लगभग 39–70 टोकन प्रति सेकंड (6-बिट)। इसे चलाने वाला सबसे छोटा Mac, 512 GB वाला M5 Ultra, लगभग 39–70 तक पहुँचता है।
Qwen3.5 397B A17B अपने साइज़ के हिसाब से तेज़ क्यों चलता है?
यह mixture-of-experts मॉडल है: यह मेमोरी में 397B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 17B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Runs on a Mac: Qwen3.5 397B A17B Qwen3.5 397B A17B को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/qwen3.5-397b-a17b.svg)](https://mlx.app/run/qwen3.5-397b-a17b)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

क्या Mac पर Qwen3.5 397B A17B चलेगा? मेमोरी और स्पीड