लॉग इनवॉलेट बनाएँ

क्या Mac पर Llama 3.3 70B Instruct चल सकता है?

हाँ, 64 GB या ज़्यादा यूनिफ़ाइड मेमोरी के साथ। Llama 3.3 70B Instruct में 70B पैरामीटर हैं; यहाँ देखें कि हर प्रिसिज़न पर इसे कितनी मेमोरी चाहिए और हर Apple चिप इसे कितनी तेज़ी से चलाती है।

4-बिट पर मेमोरी42.6 GBवेट 39.4 GB + कॉन्टेक्स्ट
सबसे छोटा Mac64 GB4-बिट · 39 Mac कॉन्फ़िगरेशन
सबसे तेज़ Mac14–24टोकन/सेकंड · M5 Ultra 96 GB (अनुमान)

हर प्रिसिज़न पर मेमोरी

वर्ज़नवेटकॉन्टेक्स्ट के साथसबसे छोटा Mac
8-बिट74.4 GB80.4 GB128 GB
6-बिट56.9 GB61.5 GB96 GB
4-बिट39.4 GB42.6 GB64 GB
3-बिट कम क्वालिटी30.6 GB33 GB48 GB
2-बिट कम क्वालिटी21.9 GB23.7 GB32 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो Llama 3.3 70B Instruct चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिपज़रूरतवर्ज़नटोकन/सेकंड
M632 GB2-बिट धीमा3–6
M5 Ultra96 GB4-बिट अच्छा चलता है14–24
M5 Max64 GB4-बिट धीमा7–12
M5 Pro64 GB4-बिट धीमा4–6
M532 GB2-बिट धीमा3–6
M4 Max64 GB4-बिट धीमा6–11
M4 Pro64 GB4-बिट धीमा3–6
M432 GB2-बिट धीमा2–4
M3 Ultra96 GB6-बिट धीमा6–12
M3 Max64 GB4-बिट धीमा5–8
M3 Pro36 GB2-बिट धीमा3–5
M3कोई साइज़ फ़िट नहींबहुत बड़ा–
M2 Ultra64 GB4-बिट धीमा9–16
M2 Max64 GB4-बिट धीमा5–8
M2 Pro32 GB2-बिट धीमा4–7
M2कोई साइज़ फ़िट नहींबहुत बड़ा–
M1 Ultra64 GB4-बिट धीमा9–16
M1 Max64 GB4-बिट धीमा5–8
M1 Pro32 GB2-बिट धीमा4–7
M1कोई साइज़ फ़िट नहींबहुत बड़ा–

इसे कैसे चलाएँ

  1. आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Llama 3.3 70B Instruct खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
  2. Terminal में Apple के MLX के साथ:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-3.3-70B-Instruct-4bitबिल्ड: Hugging Face पर mlx-community/Llama-3.3-70B-Instruct-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

Llama 3.3 70B Instruct के बारे में

बनाने वालाMeta
पैरामीटर70B (डेंस)
कॉन्टेक्स्ट128K टोकन
लाइसेंसLlama 3.3 Community License
रिलीज़2024-12
इनपुटटेक्स्ट
वेटmeta-llama/Llama-3.3-70B-Instruct

सवाल

Llama 3.3 70B Instruct को कितनी मेमोरी चाहिए?
4-बिट पर लगभग 39.4 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 42.6 GB। Mac पर इसका मतलब है 64 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर Llama 3.3 70B Instruct कितना तेज़ चलता है?
लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 14–24 टोकन प्रति सेकंड (4-बिट)। इसे चलाने वाला सबसे छोटा Mac, 64 GB वाला M2 Ultra, लगभग 9–16 तक पहुँचता है।
क्या क्वांटाइज़ेशन से Llama 3.3 70B Instruct की क्वालिटी घटती है?
4 बिट पर ज़्यादातर मॉडल मूल क्वालिटी के करीब रहते हैं; 4 बिट से नीचे क्वालिटी तेज़ी से गिरती है। वह सबसे ऊँचा प्रिसिज़न चुनें जो आपके Mac में आराम से फ़िट हो।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Runs on a Mac: Llama 3.3 70B Instruct Llama 3.3 70B Instruct को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/llama-3.3-70b.svg)](https://mlx.app/run/llama-3.3-70b)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

क्या Mac पर Llama 3.3 70B Instruct चलेगा? मेमोरी और स्पीड