लॉग इनवॉलेट बनाएँ

क्या Mac पर Gemma 4 12B Unified चल सकता है?

हाँ, 16 GB या ज़्यादा यूनिफ़ाइड मेमोरी के साथ। Gemma 4 12B Unified में 12B पैरामीटर हैं; यहाँ देखें कि हर प्रिसिज़न पर इसे कितनी मेमोरी चाहिए और हर Apple चिप इसे कितनी तेज़ी से चलाती है।

4-बिट पर मेमोरी8.2 GBवेट 6.7 GB + कॉन्टेक्स्ट
सबसे छोटा Mac16 GB4-बिट · 58 Mac कॉन्फ़िगरेशन
सबसे तेज़ Mac43–76टोकन/सेकंड · M5 Ultra 96 GB (अनुमान)

हर प्रिसिज़न पर मेमोरी

वर्ज़नवेटकॉन्टेक्स्ट के साथसबसे छोटा Mac
8-बिट12.7 GB14.2 GB24 GB
6-बिट9.7 GB11.2 GB16 GB
4-बिट6.7 GB8.2 GB16 GB
3-बिट कम क्वालिटी5.2 GB6.7 GB16 GB
2-बिट कम क्वालिटी3.7 GB5.2 GB8 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो Gemma 4 12B Unified चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिपज़रूरतवर्ज़नटोकन/सेकंड
M616 GB4-बिट अच्छा चलता है10–18
M5 Ultra96 GB8-बिट अच्छा चलता है43–76
M5 Max36 GB8-बिट अच्छा चलता है16–29
M5 Pro24 GB8-बिट अच्छा चलता है11–19
M516 GB4-बिट अच्छा चलता है10–18
M4 Max36 GB8-बिट अच्छा चलता है15–26
M4 Pro24 GB8-बिट अच्छा चलता है10–17
M416 GB6-बिट धीमा6–10
M3 Ultra96 GB8-बिट अच्छा चलता है29–52
M3 Max36 GB8-बिट अच्छा चलता है11–19
M3 Pro18 GB4-बिट अच्छा चलता है10–18
M316 GB6-बिट धीमा5–8
M2 Ultra64 GB8-बिट अच्छा चलता है28–50
M2 Max32 GB8-बिट अच्छा चलता है14–25
M2 Pro16 GB4-बिट अच्छा चलता है13–24
M216 GB6-बिट धीमा5–8
M1 Ultra64 GB8-बिट अच्छा चलता है28–50
M1 Max32 GB8-बिट अच्छा चलता है14–25
M1 Pro16 GB4-बिट अच्छा चलता है13–24
M116 GB6-बिट धीमा3–6

इसे कैसे चलाएँ

  1. आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Gemma 4 12B Unified खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
  2. Terminal में Apple के MLX के साथ:pip install mlx-lmmlx_lm.chat --model mlx-community/gemma-4-12B-it-4bitबिल्ड: Hugging Face पर mlx-community/gemma-4-12B-it-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

Gemma 4 12B Unified के बारे में

बनाने वालाGoogle DeepMind
पैरामीटर12B (डेंस)
कॉन्टेक्स्ट256K टोकन
लाइसेंसApache-2.0
रिलीज़2026-05
इनपुटटेक्स्ट और इमेज
वेटgoogle/gemma-4-12B-it

सवाल

Gemma 4 12B Unified को कितनी मेमोरी चाहिए?
4-बिट पर लगभग 6.7 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 8.2 GB। Mac पर इसका मतलब है 16 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर Gemma 4 12B Unified कितना तेज़ चलता है?
लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 43–76 टोकन प्रति सेकंड (8-बिट)। इसे चलाने वाला सबसे छोटा Mac, 16 GB वाला M2 Pro, लगभग 13–24 तक पहुँचता है।
क्या क्वांटाइज़ेशन से Gemma 4 12B Unified की क्वालिटी घटती है?
4 बिट पर ज़्यादातर मॉडल मूल क्वालिटी के करीब रहते हैं; 4 बिट से नीचे क्वालिटी तेज़ी से गिरती है। वह सबसे ऊँचा प्रिसिज़न चुनें जो आपके Mac में आराम से फ़िट हो।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Runs on a Mac: Gemma 4 12B Unified Gemma 4 12B Unified को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/gemma-4-12b.svg)](https://mlx.app/run/gemma-4-12b)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

क्या Mac पर Gemma 4 12B Unified चलेगा? मेमोरी और स्पीड