gpt-oss-20b को कितनी मेमोरी चाहिए?

नेटिव 4.25-बिट पर लगभग 13.8 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 15.3 GB। Mac पर इसका मतलब है 24 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।

Mac पर gpt-oss-20b कितना तेज़ चलता है?

लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 284–505 टोकन प्रति सेकंड (नेटिव 4.25-बिट)। इसे चलाने वाला सबसे छोटा Mac, 24 GB वाला M5 Pro, लगभग 73–129 तक पहुँचता है।

gpt-oss-20b अपने साइज़ के हिसाब से तेज़ क्यों चलता है?

यह mixture-of-experts मॉडल है: यह मेमोरी में 21B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 3.6B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

क्या Mac पर gpt-oss-20b चलेगा? मेमोरी और स्पीड

हर प्रिसिज़न पर मेमोरी

वर्ज़न	वेट	कॉन्टेक्स्ट के साथ	सबसे छोटा Mac
नेटिव 4.25-बिट	13.8 GB	15.3 GB	24 GB
3-बिट कम क्वालिटी	9.2 GB	10.7 GB	16 GB
2-बिट कम क्वालिटी	6.6 GB	8.1 GB	16 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो gpt-oss-20b चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिप	ज़रूरत	वर्ज़न	टोकन/सेकंड
M6	24 GB	नेटिव 4.25-बिट अच्छा चलता है	40–72
M5 Ultra	96 GB	नेटिव 4.25-बिट अच्छा चलता है	284–505
M5 Max	36 GB	नेटिव 4.25-बिट अच्छा चलता है	109–194
M5 Pro	24 GB	नेटिव 4.25-बिट अच्छा चलता है	73–129
M5	24 GB	नेटिव 4.25-बिट अच्छा चलता है	36–64
M4 Max	36 GB	नेटिव 4.25-बिट अच्छा चलता है	97–173
M4 Pro	24 GB	नेटिव 4.25-बिट अच्छा चलता है	65–115
M4	24 GB	नेटिव 4.25-बिट अच्छा चलता है	28–51
M3 Ultra	96 GB	नेटिव 4.25-बिट अच्छा चलता है	194–345
M3 Max	36 GB	नेटिव 4.25-बिट अच्छा चलता है	71–126
M3 Pro	36 GB	नेटिव 4.25-बिट अच्छा चलता है	36–63
M3	24 GB	नेटिव 4.25-बिट अच्छा चलता है	24–42
M2 Ultra	64 GB	नेटिव 4.25-बिट अच्छा चलता है	189–337
M2 Max	32 GB	नेटिव 4.25-बिट अच्छा चलता है	95–168
M2 Pro	32 GB	नेटिव 4.25-बिट अच्छा चलता है	47–84
M2	24 GB	नेटिव 4.25-बिट अच्छा चलता है	24–42
M1 Ultra	64 GB	नेटिव 4.25-बिट अच्छा चलता है	189–337
M1 Max	32 GB	नेटिव 4.25-बिट अच्छा चलता है	95–168
M1 Pro	32 GB	नेटिव 4.25-बिट अच्छा चलता है	47–84
M1	16 GB	3-बिट अच्छा चलता है	19–34

इसे कैसे चलाएँ

आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। gpt-oss-20b खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
Terminal में Apple के MLX के साथ:pip install mlx-lmmlx_lm.chat --model mlx-community/gpt-oss-20b-MXFP4-Q8बिल्ड: Hugging Face पर mlx-community/gpt-oss-20b-MXFP4-Q8। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

gpt-oss-20b के बारे में

बनाने वाला	OpenAI
पैरामीटर	21B कुल · 3.6B सक्रिय (mixture of experts)
कॉन्टेक्स्ट	128K टोकन
लाइसेंस	Apache-2.0
रिलीज़	2025-08
इनपुट	टेक्स्ट
इंटेलिजेंस	Artificial Analysis Intelligence Index पर 9
वेट	openai/gpt-oss-20b

सवाल

gpt-oss-20b को कितनी मेमोरी चाहिए?: नेटिव 4.25-बिट पर लगभग 13.8 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 15.3 GB। Mac पर इसका मतलब है 24 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर gpt-oss-20b कितना तेज़ चलता है?: लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 284–505 टोकन प्रति सेकंड (नेटिव 4.25-बिट)। इसे चलाने वाला सबसे छोटा Mac, 24 GB वाला M5 Pro, लगभग 73–129 तक पहुँचता है।
gpt-oss-20b अपने साइज़ के हिसाब से तेज़ क्यों चलता है?: यह mixture-of-experts मॉडल है: यह मेमोरी में 21B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 3.6B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

gpt-oss-20b को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/gpt-oss-20b.svg)](https://mlx.app/run/gpt-oss-20b)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।