लॉग इनवॉलेट बनाएँ

क्या Mac पर Qwen3.5 0.8B चल सकता है?

हाँ, 8 GB या ज़्यादा यूनिफ़ाइड मेमोरी के साथ। Qwen3.5 0.8B में 0.8B पैरामीटर हैं; यहाँ देखें कि हर प्रिसिज़न पर इसे कितनी मेमोरी चाहिए और हर Apple चिप इसे कितनी तेज़ी से चलाती है।

4-बिट पर मेमोरी2 GBवेट 0.5 GB + कॉन्टेक्स्ट
सबसे छोटा Mac8 GB8-बिट · 58 Mac कॉन्फ़िगरेशन
सबसे तेज़ Mac600–1067टोकन/सेकंड · M5 Ultra 96 GB (अनुमान)

हर प्रिसिज़न पर मेमोरी

वर्ज़नवेटकॉन्टेक्स्ट के साथसबसे छोटा Mac
8-बिट0.9 GB2.4 GB8 GB
6-बिट0.7 GB2.2 GB8 GB
4-बिट0.5 GB2 GB8 GB
3-बिट कम क्वालिटी0.4 GB1.9 GB8 GB
2-बिट कम क्वालिटी0.3 GB1.8 GB8 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो Qwen3.5 0.8B चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिपज़रूरतवर्ज़नटोकन/सेकंड
M616 GB8-बिट अच्छा चलता है77–136
M5 Ultra96 GB8-बिट अच्छा चलता है600–1067
M5 Max36 GB8-बिट अच्छा चलता है230–409
M5 Pro24 GB8-बिट अच्छा चलता है154–273
M516 GB8-बिट अच्छा चलता है77–136
M4 Max36 GB8-बिट अच्छा चलता है205–364
M4 Pro24 GB8-बिट अच्छा चलता है137–243
M416 GB8-बिट अच्छा चलता है60–107
M3 Ultra96 GB8-बिट अच्छा चलता है410–728
M3 Max36 GB8-बिट अच्छा चलता है150–267
M3 Pro18 GB8-बिट अच्छा चलता है75–133
M38 GB8-बिट अच्छा चलता है50–89
M2 Ultra64 GB8-बिट अच्छा चलता है400–711
M2 Max32 GB8-बिट अच्छा चलता है200–356
M2 Pro16 GB8-बिट अच्छा चलता है100–178
M28 GB8-बिट अच्छा चलता है50–89
M1 Ultra64 GB8-बिट अच्छा चलता है400–711
M1 Max32 GB8-बिट अच्छा चलता है200–356
M1 Pro16 GB8-बिट अच्छा चलता है100–178
M18 GB8-बिट अच्छा चलता है34–60

इसे कैसे चलाएँ

  1. आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Qwen3.5 0.8B खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
  2. Terminal में Apple के MLX के साथ:pip install mlx-lmmlx_lm.chat --model mlx-community/Qwen3.5-0.8B-4bitबिल्ड: Hugging Face पर mlx-community/Qwen3.5-0.8B-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

Qwen3.5 0.8B के बारे में

बनाने वालाQwen (Alibaba)
पैरामीटर0.8B (डेंस)
कॉन्टेक्स्ट256K टोकन
लाइसेंसApache-2.0
रिलीज़2026-02
इनपुटटेक्स्ट और इमेज
वेटQwen/Qwen3.5-0.8B

सवाल

Qwen3.5 0.8B को कितनी मेमोरी चाहिए?
4-बिट पर लगभग 0.5 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 2 GB। Mac पर इसका मतलब है 8 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर Qwen3.5 0.8B कितना तेज़ चलता है?
लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 600–1067 टोकन प्रति सेकंड (8-बिट)। इसे चलाने वाला सबसे छोटा Mac, 8 GB वाला M3, लगभग 50–89 तक पहुँचता है।
क्या क्वांटाइज़ेशन से Qwen3.5 0.8B की क्वालिटी घटती है?
4 बिट पर ज़्यादातर मॉडल मूल क्वालिटी के करीब रहते हैं; 4 बिट से नीचे क्वालिटी तेज़ी से गिरती है। वह सबसे ऊँचा प्रिसिज़न चुनें जो आपके Mac में आराम से फ़िट हो।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Runs on a Mac: Qwen3.5 0.8B Qwen3.5 0.8B को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/qwen3.5-0.8b.svg)](https://mlx.app/run/qwen3.5-0.8b)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

क्या Mac पर Qwen3.5 0.8B चलेगा? मेमोरी और स्पीड