लॉग इनवॉलेट बनाएँ

क्या Mac पर Granite 4.2 30B चल सकता है?

हाँ, 32 GB या ज़्यादा यूनिफ़ाइड मेमोरी के साथ। Granite 4.2 30B में 30B पैरामीटर हैं; यहाँ देखें कि हर प्रिसिज़न पर इसे कितनी मेमोरी चाहिए और हर Apple चिप इसे कितनी तेज़ी से चलाती है।

4-बिट पर मेमोरी18.4 GBवेट 16.9 GB + कॉन्टेक्स्ट
सबसे छोटा Mac32 GB4-बिट · 55 Mac कॉन्फ़िगरेशन
सबसे तेज़ Mac17–30टोकन/सेकंड · M5 Ultra 96 GB (अनुमान)

हर प्रिसिज़न पर मेमोरी

वर्ज़नवेटकॉन्टेक्स्ट के साथसबसे छोटा Mac
8-बिट31.9 GB34.5 GB48 GB
6-बिट24.4 GB26.4 GB36 GB
4-बिट16.9 GB18.4 GB32 GB
3-बिट कम क्वालिटी13.1 GB14.6 GB24 GB
2-बिट कम क्वालिटी9.4 GB10.9 GB16 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो Granite 4.2 30B चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिपज़रूरतवर्ज़नटोकन/सेकंड
M632 GB4-बिट धीमा5–8
M5 Ultra96 GB8-बिट अच्छा चलता है17–30
M5 Max36 GB4-बिट अच्छा चलता है12–22
M5 Pro48 GB8-बिट धीमा4–8
M532 GB4-बिट धीमा4–7
M4 Max36 GB4-बिट अच्छा चलता है11–19
M4 Pro48 GB8-बिट धीमा4–7
M432 GB4-बिट धीमा3–6
M3 Ultra96 GB8-बिट अच्छा चलता है12–21
M3 Max36 GB6-बिट धीमा6–10
M3 Pro36 GB6-बिट धीमा3–5
M316 GB2-बिट धीमा5–9
M2 Ultra64 GB8-बिट अच्छा चलता है11–20
M2 Max32 GB4-बिट अच्छा चलता है11–19
M2 Pro32 GB4-बिट धीमा5–9
M216 GB2-बिट धीमा5–9
M1 Ultra64 GB8-बिट अच्छा चलता है11–20
M1 Max32 GB4-बिट अच्छा चलता है11–19
M1 Pro32 GB4-बिट धीमा5–9
M116 GB2-बिट धीमा3–6

इसे कैसे चलाएँ

  1. आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Granite 4.2 30B खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
  2. Terminal में Apple के MLX के साथ: अभी कोई कम्युनिटी MLX बिल्ड नहीं है, इसलिए आधिकारिक वेट से खुद बनाएँ:pip install mlx-lmmlx_lm.convert --hf-path ibm-granite/granite-4.2-30b -q

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

Granite 4.2 30B के बारे में

बनाने वालाIBM
पैरामीटर30B (डेंस)
कॉन्टेक्स्ट128K टोकन
लाइसेंसApache-2.0
रिलीज़2026-08
इनपुटटेक्स्ट
इंटेलिजेंसArtificial Analysis Intelligence Index पर 12.7
वेटibm-granite/granite-4.2-30b

सवाल

Granite 4.2 30B को कितनी मेमोरी चाहिए?
4-बिट पर लगभग 16.9 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 18.4 GB। Mac पर इसका मतलब है 32 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर Granite 4.2 30B कितना तेज़ चलता है?
लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 17–30 टोकन प्रति सेकंड (8-बिट)। इसे चलाने वाला सबसे छोटा Mac, 32 GB वाला M2 Max, लगभग 11–19 तक पहुँचता है।
क्या क्वांटाइज़ेशन से Granite 4.2 30B की क्वालिटी घटती है?
4 बिट पर ज़्यादातर मॉडल मूल क्वालिटी के करीब रहते हैं; 4 बिट से नीचे क्वालिटी तेज़ी से गिरती है। वह सबसे ऊँचा प्रिसिज़न चुनें जो आपके Mac में आराम से फ़िट हो।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Runs on a Mac: Granite 4.2 30B Granite 4.2 30B को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/granite-4.2-30b.svg)](https://mlx.app/run/granite-4.2-30b)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

क्या Mac पर Granite 4.2 30B चलेगा? मेमोरी और स्पीड