लॉग इनवॉलेट बनाएँ

क्या Mac पर Gemma 4 26B A4B चल सकता है?

हाँ, 24 GB या ज़्यादा यूनिफ़ाइड मेमोरी के साथ। Gemma 4 26B A4B में 25.2B पैरामीटर हैं, जिनमें से हर टोकन के लिए 3.8B सक्रिय रहते हैं; यहाँ देखें कि हर प्रिसिज़न पर इसे कितनी मेमोरी चाहिए और हर Apple चिप इसे कितनी तेज़ी से चलाती है।

4-बिट पर मेमोरी15.7 GBवेट 14.2 GB + कॉन्टेक्स्ट
सबसे छोटा Mac24 GB4-बिट · 55 Mac कॉन्फ़िगरेशन
सबसे तेज़ Mac135–240टोकन/सेकंड · M5 Ultra 96 GB (अनुमान)

हर प्रिसिज़न पर मेमोरी

वर्ज़नवेटकॉन्टेक्स्ट के साथसबसे छोटा Mac
8-बिट26.8 GB28.9 GB48 GB
6-बिट20.5 GB22.1 GB32 GB
4-बिट14.2 GB15.7 GB24 GB
3-बिट कम क्वालिटी11 GB12.5 GB18 GB
2-बिट कम क्वालिटी7.9 GB9.4 GB16 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो Gemma 4 26B A4B चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिपज़रूरतवर्ज़नटोकन/सेकंड
M624 GB4-बिट अच्छा चलता है36–65
M5 Ultra96 GB8-बिट अच्छा चलता है135–240
M5 Max36 GB6-बिट अच्छा चलता है67–119
M5 Pro24 GB4-बिट अच्छा चलता है66–117
M524 GB4-बिट अच्छा चलता है33–58
M4 Max36 GB6-बिट अच्छा चलता है60–106
M4 Pro24 GB4-बिट अच्छा चलता है59–104
M424 GB4-बिट अच्छा चलता है26–46
M3 Ultra96 GB8-बिट अच्छा चलता है92–164
M3 Max36 GB6-बिट अच्छा चलता है44–77
M3 Pro36 GB6-बिट अच्छा चलता है22–39
M324 GB4-बिट अच्छा चलता है21–38
M2 Ultra64 GB8-बिट अच्छा चलता है90–160
M2 Max32 GB6-बिट अच्छा चलता है58–103
M2 Pro32 GB6-बिट अच्छा चलता है29–52
M224 GB4-बिट अच्छा चलता है21–38
M1 Ultra64 GB8-बिट अच्छा चलता है90–160
M1 Max32 GB6-बिट अच्छा चलता है58–103
M1 Pro32 GB6-बिट अच्छा चलता है29–52
M116 GB2-बिट अच्छा चलता है26–45

इसे कैसे चलाएँ

  1. आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Gemma 4 26B A4B खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
  2. Terminal में Apple के MLX के साथ:pip install mlx-lmmlx_lm.chat --model mlx-community/gemma-4-26b-a4b-it-4bitबिल्ड: Hugging Face पर mlx-community/gemma-4-26b-a4b-it-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

Gemma 4 26B A4B के बारे में

बनाने वालाGoogle DeepMind
पैरामीटर25.2B कुल · 3.8B सक्रिय (mixture of experts)
कॉन्टेक्स्ट256K टोकन
लाइसेंसApache-2.0
रिलीज़2026-03
इनपुटटेक्स्ट और इमेज
वेटgoogle/gemma-4-26B-A4B-it

सवाल

Gemma 4 26B A4B को कितनी मेमोरी चाहिए?
4-बिट पर लगभग 14.2 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 15.7 GB। Mac पर इसका मतलब है 24 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर Gemma 4 26B A4B कितना तेज़ चलता है?
लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 135–240 टोकन प्रति सेकंड (8-बिट)। इसे चलाने वाला सबसे छोटा Mac, 24 GB वाला M5 Pro, लगभग 66–117 तक पहुँचता है।
Gemma 4 26B A4B अपने साइज़ के हिसाब से तेज़ क्यों चलता है?
यह mixture-of-experts मॉडल है: यह मेमोरी में 25.2B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 3.8B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Runs on a Mac: Gemma 4 26B A4B Gemma 4 26B A4B को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/gemma-4-26b-a4b.svg)](https://mlx.app/run/gemma-4-26b-a4b)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

क्या Mac पर Gemma 4 26B A4B चलेगा? मेमोरी और स्पीड