लॉग इनवॉलेट बनाएँ

क्या Mac पर Qwen3 8B चल सकता है?

हाँ, 16 GB या ज़्यादा यूनिफ़ाइड मेमोरी के साथ। Qwen3 8B में 8.2B पैरामीटर हैं; यहाँ देखें कि हर प्रिसिज़न पर इसे कितनी मेमोरी चाहिए और हर Apple चिप इसे कितनी तेज़ी से चलाती है।

4-बिट पर मेमोरी6.1 GBवेट 4.6 GB + कॉन्टेक्स्ट
सबसे छोटा Mac16 GB8-बिट · 58 Mac कॉन्फ़िगरेशन
सबसे तेज़ Mac62–110टोकन/सेकंड · M5 Ultra 96 GB (अनुमान)

हर प्रिसिज़न पर मेमोरी

वर्ज़नवेटकॉन्टेक्स्ट के साथसबसे छोटा Mac
8-बिट8.7 GB10.2 GB16 GB
6-बिट6.7 GB8.2 GB16 GB
4-बिट4.6 GB6.1 GB16 GB
3-बिट कम क्वालिटी3.6 GB5.1 GB8 GB
2-बिट कम क्वालिटी2.6 GB4.1 GB8 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो Qwen3 8B चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिपज़रूरतवर्ज़नटोकन/सेकंड
M616 GB6-बिट अच्छा चलता है10–18
M5 Ultra96 GB8-बिट अच्छा चलता है62–110
M5 Max36 GB8-बिट अच्छा चलता है24–42
M5 Pro24 GB8-बिट अच्छा चलता है16–28
M516 GB6-बिट अच्छा चलता है10–18
M4 Max36 GB8-बिट अच्छा चलता है21–38
M4 Pro24 GB8-बिट अच्छा चलता है14–25
M416 GB4-बिट अच्छा चलता है12–21
M3 Ultra96 GB8-बिट अच्छा चलता है42–75
M3 Max36 GB8-बिट अच्छा चलता है16–28
M3 Pro18 GB6-बिट अच्छा चलता है10–18
M316 GB4-बिट अच्छा चलता है10–17
M2 Ultra64 GB8-बिट अच्छा चलता है41–74
M2 Max32 GB8-बिट अच्छा चलता है21–37
M2 Pro16 GB8-बिट अच्छा चलता है10–18
M216 GB4-बिट अच्छा चलता है10–17
M1 Ultra64 GB8-बिट अच्छा चलता है41–74
M1 Max32 GB8-बिट अच्छा चलता है21–37
M1 Pro16 GB8-बिट अच्छा चलता है10–18
M116 GB8-बिट धीमा4–6

इसे कैसे चलाएँ

  1. आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Qwen3 8B खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
  2. Terminal में Apple के MLX के साथ:pip install mlx-lmmlx_lm.chat --model mlx-community/Qwen3-8B-4bitबिल्ड: Hugging Face पर mlx-community/Qwen3-8B-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

Qwen3 8B के बारे में

बनाने वालाQwen (Alibaba)
पैरामीटर8.2B (डेंस)
कॉन्टेक्स्ट40K टोकन
लाइसेंसApache-2.0
रिलीज़2025-04
इनपुटटेक्स्ट
वेटQwen/Qwen3-8B

सवाल

Qwen3 8B को कितनी मेमोरी चाहिए?
4-बिट पर लगभग 4.6 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 6.1 GB। Mac पर इसका मतलब है 16 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर Qwen3 8B कितना तेज़ चलता है?
लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 62–110 टोकन प्रति सेकंड (8-बिट)। इसे चलाने वाला सबसे छोटा Mac, 16 GB वाला M2 Pro, लगभग 10–18 तक पहुँचता है।
क्या क्वांटाइज़ेशन से Qwen3 8B की क्वालिटी घटती है?
4 बिट पर ज़्यादातर मॉडल मूल क्वालिटी के करीब रहते हैं; 4 बिट से नीचे क्वालिटी तेज़ी से गिरती है। वह सबसे ऊँचा प्रिसिज़न चुनें जो आपके Mac में आराम से फ़िट हो।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Runs on a Mac: Qwen3 8B Qwen3 8B को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/qwen3-8b.svg)](https://mlx.app/run/qwen3-8b)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

क्या Mac पर Qwen3 8B चलेगा? मेमोरी और स्पीड