लॉग इनवॉलेट बनाएँ

क्या Mac पर Qwen3 Coder 30B A3B Instruct चल सकता है?

हाँ, 32 GB या ज़्यादा यूनिफ़ाइड मेमोरी के साथ। Qwen3 Coder 30B A3B Instruct में 30.5B पैरामीटर हैं, जिनमें से हर टोकन के लिए 3.3B सक्रिय रहते हैं; यहाँ देखें कि हर प्रिसिज़न पर इसे कितनी मेमोरी चाहिए और हर Apple चिप इसे कितनी तेज़ी से चलाती है।

4-बिट पर मेमोरी18.7 GBवेट 17.2 GB + कॉन्टेक्स्ट
सबसे छोटा Mac32 GB4-बिट · 55 Mac कॉन्फ़िगरेशन
सबसे तेज़ Mac154–274टोकन/सेकंड · M5 Ultra 96 GB (अनुमान)

हर प्रिसिज़न पर मेमोरी

वर्ज़नवेटकॉन्टेक्स्ट के साथसबसे छोटा Mac
8-बिट32.4 GB35 GB48 GB
6-बिट24.8 GB26.8 GB36 GB
4-बिट17.2 GB18.7 GB32 GB
3-बिट कम क्वालिटी13.3 GB14.8 GB24 GB
2-बिट कम क्वालिटी9.5 GB11 GB16 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो Qwen3 Coder 30B A3B Instruct चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिपज़रूरतवर्ज़नटोकन/सेकंड
M632 GB4-बिट अच्छा चलता है40–72
M5 Ultra96 GB8-बिट अच्छा चलता है154–274
M5 Max36 GB6-बिट अच्छा चलता है77–136
M5 Pro48 GB8-बिट अच्छा चलता है39–70
M532 GB4-बिट अच्छा चलता है36–64
M4 Max36 GB6-बिट अच्छा चलता है68–121
M4 Pro48 GB8-बिट अच्छा चलता है35–62
M432 GB4-बिट अच्छा चलता है28–51
M3 Ultra96 GB8-बिट अच्छा चलता है105–187
M3 Max36 GB6-बिट अच्छा चलता है50–89
M3 Pro36 GB6-बिट अच्छा चलता है25–44
M316 GB2-बिट अच्छा चलता है45–80
M2 Ultra64 GB8-बिट अच्छा चलता है103–183
M2 Max32 GB4-बिट अच्छा चलता है95–168
M2 Pro32 GB4-बिट अच्छा चलता है47–84
M216 GB2-बिट अच्छा चलता है45–80
M1 Ultra64 GB8-बिट अच्छा चलता है103–183
M1 Max32 GB4-बिट अच्छा चलता है95–168
M1 Pro32 GB4-बिट अच्छा चलता है47–84
M116 GB2-बिट अच्छा चलता है31–54

इसे कैसे चलाएँ

  1. आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Qwen3 Coder 30B A3B Instruct खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
  2. Terminal में Apple के MLX के साथ:pip install mlx-lmmlx_lm.chat --model mlx-community/Qwen3-Coder-30B-A3B-Instruct-4bitबिल्ड: Hugging Face पर mlx-community/Qwen3-Coder-30B-A3B-Instruct-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

Qwen3 Coder 30B A3B Instruct के बारे में

बनाने वालाQwen (Alibaba)
पैरामीटर30.5B कुल · 3.3B सक्रिय (mixture of experts)
कॉन्टेक्स्ट256K टोकन
लाइसेंसApache-2.0
रिलीज़2025-07
इनपुटटेक्स्ट
वेटQwen/Qwen3-Coder-30B-A3B-Instruct

सवाल

Qwen3 Coder 30B A3B Instruct को कितनी मेमोरी चाहिए?
4-बिट पर लगभग 17.2 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 18.7 GB। Mac पर इसका मतलब है 32 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर Qwen3 Coder 30B A3B Instruct कितना तेज़ चलता है?
लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 154–274 टोकन प्रति सेकंड (8-बिट)। इसे चलाने वाला सबसे छोटा Mac, 32 GB वाला M2 Max, लगभग 95–168 तक पहुँचता है।
Qwen3 Coder 30B A3B Instruct अपने साइज़ के हिसाब से तेज़ क्यों चलता है?
यह mixture-of-experts मॉडल है: यह मेमोरी में 30.5B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 3.3B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Runs on a Mac: Qwen3 Coder 30B A3B Instruct Qwen3 Coder 30B A3B Instruct को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/qwen3-coder-30b-a3b.svg)](https://mlx.app/run/qwen3-coder-30b-a3b)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

क्या Mac पर Qwen3 Coder 30B A3B Instruct चलेगा? मेमोरी और स्पीड