लॉग इनवॉलेट बनाएँ

क्या Mac पर Llama 4 Maverick 17B-128E Instruct चल सकता है?

हाँ, 512 GB या ज़्यादा यूनिफ़ाइड मेमोरी के साथ। Llama 4 Maverick 17B-128E Instruct में 400B पैरामीटर हैं, जिनमें से हर टोकन के लिए 17B सक्रिय रहते हैं; यहाँ देखें कि हर प्रिसिज़न पर इसे कितनी मेमोरी चाहिए और हर Apple चिप इसे कितनी तेज़ी से चलाती है।

4-बिट पर मेमोरी243 GBवेट 225 GB + कॉन्टेक्स्ट
सबसे छोटा Mac512 GB6-बिट · 5 Mac कॉन्फ़िगरेशन
सबसे तेज़ Mac39–70टोकन/सेकंड · M5 Ultra 512 GB (अनुमान)

हर प्रिसिज़न पर मेमोरी

वर्ज़नवेटकॉन्टेक्स्ट के साथसबसे छोटा Mac
8-बिट425 GB459 GBकिसी भी Mac से ज़्यादा
6-बिट325 GB351 GB512 GB
4-बिट225 GB243 GB512 GB
3-बिट कम क्वालिटी175 GB189 GB256 GB
2-बिट कम क्वालिटी125 GB135 GB192 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो Llama 4 Maverick 17B-128E Instruct चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिपज़रूरतवर्ज़नटोकन/सेकंड
M6कोई साइज़ फ़िट नहींबहुत बड़ा–
M5 Ultra512 GB6-बिट अच्छा चलता है39–70
M5 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M5 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M5कोई साइज़ फ़िट नहींबहुत बड़ा–
M4 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M4 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M4कोई साइज़ फ़िट नहींबहुत बड़ा–
M3 Ultra512 GB6-बिट अच्छा चलता है27–47
M3 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M3 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M3कोई साइज़ फ़िट नहींबहुत बड़ा–
M2 Ultra192 GB2-बिट अच्छा चलता है68–121
M2 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M2 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M2कोई साइज़ फ़िट नहींबहुत बड़ा–
M1 Ultraकोई साइज़ फ़िट नहींबहुत बड़ा–
M1 Maxकोई साइज़ फ़िट नहींबहुत बड़ा–
M1 Proकोई साइज़ फ़िट नहींबहुत बड़ा–
M1कोई साइज़ फ़िट नहींबहुत बड़ा–

इसे कैसे चलाएँ

  1. आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Llama 4 Maverick 17B-128E Instruct खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
  2. Terminal में Apple के MLX के साथ:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-4-Maverick-17B-128E-Instruct-4bitबिल्ड: Hugging Face पर mlx-community/Llama-4-Maverick-17B-128E-Instruct-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

Llama 4 Maverick 17B-128E Instruct के बारे में

बनाने वालाMeta
पैरामीटर400B कुल · 17B सक्रिय (mixture of experts)
कॉन्टेक्स्ट1M टोकन
लाइसेंसLlama 4 Community License
रिलीज़2025-04
इनपुटटेक्स्ट और इमेज
इंटेलिजेंसArtificial Analysis Intelligence Index पर 9.3
वेटmeta-llama/Llama-4-Maverick-17B-128E-Instruct

सवाल

Llama 4 Maverick 17B-128E Instruct को कितनी मेमोरी चाहिए?
4-बिट पर लगभग 225 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 243 GB। Mac पर इसका मतलब है 512 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर Llama 4 Maverick 17B-128E Instruct कितना तेज़ चलता है?
लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 512 GB वाला M5 Ultra है, लगभग 39–70 टोकन प्रति सेकंड (6-बिट)। इसे चलाने वाला सबसे छोटा Mac, 512 GB वाला M5 Ultra, लगभग 39–70 तक पहुँचता है।
Llama 4 Maverick 17B-128E Instruct अपने साइज़ के हिसाब से तेज़ क्यों चलता है?
यह mixture-of-experts मॉडल है: यह मेमोरी में 400B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 17B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Runs on a Mac: Llama 4 Maverick 17B-128E Instruct Llama 4 Maverick 17B-128E Instruct को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/llama-4-maverick.svg)](https://mlx.app/run/llama-4-maverick)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

क्या Mac पर Llama 4 Maverick 17B-128E Instruct चलेगा? मेमोरी और स्पीड