Llama 4 Scout 17B-16E Instruct को कितनी मेमोरी चाहिए?

4-बिट पर लगभग 61.3 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 66.2 GB। Mac पर इसका मतलब है 96 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।

Mac पर Llama 4 Scout 17B-16E Instruct कितना तेज़ चलता है?

लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 56–100 टोकन प्रति सेकंड (4-बिट)। इसे चलाने वाला सबसे छोटा Mac, 96 GB वाला M5 Ultra, लगभग 56–100 तक पहुँचता है।

Llama 4 Scout 17B-16E Instruct अपने साइज़ के हिसाब से तेज़ क्यों चलता है?

यह mixture-of-experts मॉडल है: यह मेमोरी में 109B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 17B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

क्या Mac पर Llama 4 Scout 17B-16E Instruct चलेगा? मेमोरी और स्पीड

हर प्रिसिज़न पर मेमोरी

वर्ज़न	वेट	कॉन्टेक्स्ट के साथ	सबसे छोटा Mac
8-बिट	116 GB	125 GB	192 GB
6-बिट	88.6 GB	95.7 GB	128 GB
4-बिट	61.3 GB	66.2 GB	96 GB
3-बिट कम क्वालिटी	47.7 GB	51.5 GB	96 GB
2-बिट कम क्वालिटी	34.1 GB	36.8 GB	64 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो Llama 4 Scout 17B-16E Instruct चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिप	ज़रूरत	वर्ज़न	टोकन/सेकंड
M6	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M5 Ultra	96 GB	4-बिट अच्छा चलता है	56–100
M5 Max	128 GB	6-बिट अच्छा चलता है	20–36
M5 Pro	64 GB	2-बिट अच्छा चलता है	26–46
M5	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M4 Max	128 GB	6-बिट अच्छा चलता है	18–32
M4 Pro	64 GB	2-बिट अच्छा चलता है	23–41
M4	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M3 Ultra	96 GB	4-बिट अच्छा चलता है	38–68
M3 Max	96 GB	4-बिट अच्छा चलता है	14–25
M3 Pro	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M3	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M2 Ultra	128 GB	6-बिट अच्छा चलता है	26–46
M2 Max	96 GB	4-बिट अच्छा चलता है	19–33
M2 Pro	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M2	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M1 Ultra	128 GB	6-बिट अच्छा चलता है	26–46
M1 Max	64 GB	2-बिट अच्छा चलता है	34–60
M1 Pro	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–
M1	कोई साइज़ फ़िट नहीं	बहुत बड़ा	–

इसे कैसे चलाएँ

आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Llama 4 Scout 17B-16E Instruct खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
Terminal में Apple के MLX के साथ:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-4-Scout-17B-16E-Instruct-4bitबिल्ड: Hugging Face पर mlx-community/Llama-4-Scout-17B-16E-Instruct-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

Llama 4 Scout 17B-16E Instruct के बारे में

बनाने वाला	Meta
पैरामीटर	109B कुल · 17B सक्रिय (mixture of experts)
कॉन्टेक्स्ट	10M टोकन
लाइसेंस	Llama 4 Community License
रिलीज़	2025-04
इनपुट	टेक्स्ट और इमेज
इंटेलिजेंस	Artificial Analysis Intelligence Index पर 6.5
वेट	meta-llama/Llama-4-Scout-17B-16E-Instruct

सवाल

Llama 4 Scout 17B-16E Instruct को कितनी मेमोरी चाहिए?: 4-बिट पर लगभग 61.3 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 66.2 GB। Mac पर इसका मतलब है 96 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर Llama 4 Scout 17B-16E Instruct कितना तेज़ चलता है?: लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 56–100 टोकन प्रति सेकंड (4-बिट)। इसे चलाने वाला सबसे छोटा Mac, 96 GB वाला M5 Ultra, लगभग 56–100 तक पहुँचता है।
Llama 4 Scout 17B-16E Instruct अपने साइज़ के हिसाब से तेज़ क्यों चलता है?: यह mixture-of-experts मॉडल है: यह मेमोरी में 109B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 17B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Llama 4 Scout 17B-16E Instruct को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/llama-4-scout.svg)](https://mlx.app/run/llama-4-scout)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।