gpt-oss-120b को कितनी मेमोरी चाहिए?

नेटिव 4.25-बिट पर लगभग 65.3 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 70.5 GB। Mac पर इसका मतलब है 96 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।

Mac पर gpt-oss-120b कितना तेज़ चलता है?

लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 200–356 टोकन प्रति सेकंड (नेटिव 4.25-बिट)। इसे चलाने वाला सबसे छोटा Mac, 96 GB वाला M5 Ultra, लगभग 200–356 तक पहुँचता है।

gpt-oss-120b अपने साइज़ के हिसाब से तेज़ क्यों चलता है?

यह mixture-of-experts मॉडल है: यह मेमोरी में 117B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 5.1B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

क्या Mac पर gpt-oss-120b चलेगा? मेमोरी और स्पीड

हर प्रिसिज़न पर मेमोरी

वर्ज़न	वेट	कॉन्टेक्स्ट के साथ	सबसे छोटा Mac
नेटिव 4.25-बिट	65.3 GB	70.5 GB	96 GB
3-बिट कम क्वालिटी	51.2 GB	55.3 GB	96 GB
2-बिट कम क्वालिटी	36.6 GB	39.5 GB	64 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो gpt-oss-120b चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिप	ज़रूरत	वर्ज़न	टोकन/सेकंड
M6	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M5 Ultra	96 GB	नेटिव 4.25-बिट अच्छा चलता है	200–356
M5 Max	128 GB	नेटिव 4.25-बिट अच्छा चलता है	102–182
M5 Pro	64 GB	2-बिट अच्छा चलता है	86–154
M5	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M4 Max	128 GB	नेटिव 4.25-बिट अच्छा चलता है	91–162
M4 Pro	64 GB	2-बिट अच्छा चलता है	77–137
M4	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M3 Ultra	96 GB	नेटिव 4.25-बिट अच्छा चलता है	137–243
M3 Max	96 GB	नेटिव 4.25-बिट अच्छा चलता है	50–89
M3 Pro	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M3	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M2 Ultra	128 GB	नेटिव 4.25-बिट अच्छा चलता है	133–237
M2 Max	96 GB	नेटिव 4.25-बिट अच्छा चलता है	67–119
M2 Pro	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M2	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M1 Ultra	128 GB	नेटिव 4.25-बिट अच्छा चलता है	133–237
M1 Max	64 GB	2-बिट अच्छा चलता है	113–200
M1 Pro	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M1	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–

इसे कैसे चलाएँ

आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। gpt-oss-120b खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
Terminal में Apple के MLX के साथ:pip install mlx-lmmlx_lm.chat --model mlx-community/gpt-oss-120b-MXFP4-Q8बिल्ड: Hugging Face पर mlx-community/gpt-oss-120b-MXFP4-Q8। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

gpt-oss-120b के बारे में

बनाने वाला	OpenAI
पैरामीटर	117B कुल · 5.1B सक्रिय (mixture of experts)
कॉन्टेक्स्ट	128K टोकन
लाइसेंस	Apache-2.0
रिलीज़	2025-08
इनपुट	टेक्स्ट
इंटेलिजेंस	Artificial Analysis Intelligence Index पर 11.6
वेट	openai/gpt-oss-120b

गाइड: mlx.app पर स्टेप बाय स्टेप

सवाल

gpt-oss-120b को कितनी मेमोरी चाहिए?: नेटिव 4.25-बिट पर लगभग 65.3 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 70.5 GB। Mac पर इसका मतलब है 96 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर gpt-oss-120b कितना तेज़ चलता है?: लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 200–356 टोकन प्रति सेकंड (नेटिव 4.25-बिट)। इसे चलाने वाला सबसे छोटा Mac, 96 GB वाला M5 Ultra, लगभग 200–356 तक पहुँचता है।
gpt-oss-120b अपने साइज़ के हिसाब से तेज़ क्यों चलता है?: यह mixture-of-experts मॉडल है: यह मेमोरी में 117B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 5.1B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

gpt-oss-120b को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/gpt-oss-120b.svg)](https://mlx.app/run/gpt-oss-120b)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।