संक्षेप में
- वेट: पैरामीटर × बिट प्रति वेट ÷ 8। MLX के 4-bit फ़ॉर्मेट में यह लगभग 0.56 GB प्रति अरब पैरामीटर है; 8-bit पर लगभग 1.06 GB, 16-bit पर 2 GB।
- यानी 8B मॉडल को 4-bit पर लगभग 4.5 GB, 32B मॉडल को लगभग 18 GB और 70B मॉडल को लगभग 39 GB चाहिए, कॉन्टेक्स्ट से पहले।
- कॉन्टेक्स्ट (KV cache) इसके ऊपर आता है और हर टोकन के साथ बढ़ता है: Qwen3 8B में 32,000 टोकन का कॉन्टेक्स्ट लगभग 4.8 GB लेता है, जो उसके 4-bit वेट से भी ज़्यादा है।
- Mac पर GPU डिफ़ॉल्ट रूप से यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल कर सकता है, इसलिए 16 GB वाले Mac में मॉडल के लिए लगभग 12 GB होते हैं। PC पर पूरी स्पीड के लिए मॉडल को ग्राफ़िक्स कार्ड की अपनी VRAM में आना ज़रूरी है।
1नियम: पैरामीटर × बिट
मॉडल ज़्यादातर उसके वेट ही होते हैं: हर पैरामीटर के लिए एक संख्या। 16 बिट में रखने पर हर एक 2 बाइट लेता है, इसलिए मॉडल को प्रति अरब पैरामीटर 2 GB चाहिए। क्वांटाइज़ेशन हर वेट को कम बिट में रखता है, जिससे मॉडल लगभग उसी अनुपात में छोटा हो जाता है; 4 बिट पर ज़्यादातर मॉडल अपनी मूल क्वालिटी के क़रीब रहते हैं।
क्वांटाइज़्ड फ़ॉर्मेट वेट को दोबारा बनाने के लिए थोड़ा अतिरिक्त डेटा भी रखते हैं। Apple का MLX डिफ़ॉल्ट रूप से हर 64 वेट के समूह के लिए एक scale और एक bias रखता है, मॉडल के अपने 16-bit टाइप में (MLX), जिससे हर वेट पर आधा बिट और जुड़ता है। इससे ये साइज़ बनते हैं:
| प्रिसिज़न | बिट प्रति वेट | GB प्रति अरब पैरामीटर |
|---|---|---|
| 16-bit (मूल) | 16 | 2.0 |
| 8-bit | 8.5 | लगभग 1.06 |
| 6-bit | 6.5 | लगभग 0.81 |
| 4-bit | 4.5 | लगभग 0.56 |
| 3-bit | 3.5 | लगभग 0.44 |
| 2-bit | 2.5 | लगभग 0.31 |
4 बिट से नीचे क्वालिटी तेज़ी से गिरती है। अच्छा डिफ़ॉल्ट: सबसे ऊँची प्रिसिज़न जो कुछ जगह छोड़कर आराम से आ जाए।
2आम मॉडल साइज़ के लिए मेमोरी
| मॉडल साइज़ | 16-bit | 8-bit | 4-bit | 3-bit |
|---|---|---|---|---|
| 1B | 2 GB | 1.1 GB | 0.6 GB | 0.4 GB |
| 3B | 6 GB | 3.2 GB | 1.7 GB | 1.3 GB |
| 8B | 16 GB | 8.5 GB | 4.5 GB | 3.5 GB |
| 14B | 28 GB | 14.9 GB | 7.9 GB | 6.1 GB |
| 32B | 64 GB | 34 GB | 18 GB | 14 GB |
| 70B | 140 GB | 74.4 GB | 39.4 GB | 30.6 GB |
| 120B | 240 GB | 127.5 GB | 67.5 GB | 52.5 GB |
| 235B | 470 GB | 249.7 GB | 132.2 GB | 102.8 GB |
| 405B | 810 GB | 430.3 GB | 227.8 GB | 177.2 GB |
| 671B | 1,342 GB | 712.9 GB | 377.4 GB | 293.6 GB |
कुछ मॉडल अपनी ही कम प्रिसिज़न में आते हैं। OpenAI के gpt-oss-120b में 117 अरब पैरामीटर हैं और वह अपने mixture-of-experts वेट 4-bit फ़ॉर्मेट MXFP4 में रखता है, इसलिए वह एक 80 GB GPU में आ जाता है (OpenAI)। किसी ख़ास मॉडल के लिए उसका पेज खोलें: हर ओपन मॉडल और उसके लिए ज़रूरी Mac, जैसे gpt-oss-120b या Llama 3.3 70B।
3कॉन्टेक्स्ट भी मेमोरी लेता है
मॉडल जब पढ़ता और लिखता है, तो वह हर लेयर में बातचीत के हर टोकन के लिए एक key और एक value रखता है: यही KV cache है। इसका साइज़ है 2 × लेयर × KV heads × head size × बाइट प्रति value × टोकन।
उदाहरण के लिए Qwen3 8B में 36 लेयर, 8 KV heads और 128 का head size है, 16-bit में (config)। यानी प्रति टोकन 147,456 बाइट:
| कॉन्टेक्स्ट | Qwen3 8B का KV cache (16-bit) |
|---|---|
| 8,192 टोकन | लगभग 1.2 GB |
| 32,768 टोकन | लगभग 4.8 GB |
| 40,960 टोकन (इसका पूरा कॉन्टेक्स्ट) | लगभग 6.0 GB |
इस मॉडल की तरह grouped-query attention वाले मॉडल attention heads से कम KV heads रखते हैं (32 के मुक़ाबले 8), जिससे cache पहले ही चार गुना छोटा हो जाता है। cache को क्वांटाइज़ करके और बचत की जा सकती है: mlx-lm का सर्वर --kv-bits 4 लेता है (mlx-lm)। चैट के लिए कुछ हज़ार टोकन का कॉन्टेक्स्ट काफ़ी है; एजेंट, लंबे दस्तावेज़ या कोड के लिए कई गीगाबाइट का हिसाब रखें।
4Mac में कितना बड़ा मॉडल आता है
Mac की मेमोरी CPU और GPU साझा करते हैं, और macOS डिफ़ॉल्ट रूप से GPU को उसका सिर्फ़ एक हिस्सा इस्तेमाल करने देता है। हमारा Compare पेज लगभग 75% गिनता है; mlx-lm का README बताता है कि macOS 15 या नए पर sudo sysctl iogpu.wired_limit_mb=N से यह सीमा कैसे बढ़ाएँ (mlx-lm), लेकिन macOS और आपके दूसरे ऐप्स को भी जगह चाहिए।
| Mac की मेमोरी | GPU के लिए (लगभग 75%) | 4-bit पर सबसे बड़ा मॉडल | 8-bit पर सबसे बड़ा |
|---|---|---|---|
| 8 GB | 6 GB | लगभग 10B | लगभग 5B |
| 16 GB | 12 GB | लगभग 21B | लगभग 11B |
| 24 GB | 18 GB | लगभग 32B | लगभग 16B |
| 32 GB | 24 GB | लगभग 42B | लगभग 22B |
| 36 GB | 27 GB | लगभग 48B | लगभग 25B |
| 48 GB | 36 GB | लगभग 64B | लगभग 33B |
| 64 GB | 48 GB | लगभग 85B | लगभग 45B |
| 96 GB | 72 GB | लगभग 128B | लगभग 67B |
| 128 GB | 96 GB | लगभग 170B | लगभग 90B |
| 256 GB | 192 GB | लगभग 341B | लगभग 180B |
| 512 GB | 384 GB | लगभग 682B | लगभग 361B |
मेमोरी तय करती है कि क्या आएगा; मेमोरी बैंडविड्थ तय करती है कि वह कितनी तेज़ी से लिखेगा। लोकल LLM के लिए सबसे अच्छा Mac दूसरा हिस्सा समझाता है, और हर Mac की रैंकिंग दोनों को साथ रखती है।
5RAM, VRAM और यूनिफ़ाइड मेमोरी
ग्राफ़िक्स कार्ड वाले PC पर मॉडल पूरी स्पीड से तभी चलता है जब वह कार्ड की अपनी मेमोरी, यानी VRAM, में आ जाए: RTX 5090 पर 32 GB (NVIDIA)। जो लेयर नहीं आतीं, वे PC की सिस्टम RAM से चल सकती हैं, लेकिन वह मेमोरी पढ़ने में बहुत धीमी है, इसलिए मॉडल काफ़ी धीमा हो जाता है।
Mac में अलग VRAM नहीं होती: GPU वही यूनिफ़ाइड मेमोरी पढ़ता है जो CPU, इसीलिए 64 GB या 128 GB वाला Mac ऐसे मॉडल रख सकता है जो कोई अकेला कंज़्यूमर ग्राफ़िक्स कार्ड नहीं रख सकता। कुछ PC अब इसी तरह काम करते हैं, जैसे NVIDIA का DGX Spark और AMD की Ryzen AI Max मशीनें, जिनमें 128 GB CPU और GPU के बीच साझा है: देखें M5 Max vs DGX Spark और M5 Max vs RTX 5090।
6Mixture-of-experts मॉडल
Mixture-of-experts मॉडल अपने सारे पैरामीटर मेमोरी में रखता है, लेकिन हर टोकन के लिए उनमें से कुछ ही इस्तेमाल करता है। मेमोरी कुल पैरामीटर के हिसाब से लगती है; स्पीड सक्रिय हिस्से के हिसाब से। gpt-oss-20b में 21 अरब पैरामीटर हैं, जिनमें से 3.6 अरब सक्रिय (OpenAI): इसे 21B मॉडल जितनी मेमोरी चाहिए और यह लगभग 4B मॉडल जितनी तेज़ी से लिखता है।
इसलिए mixture-of-experts मॉडल Mac के लिए बढ़िया हैं, क्योंकि ग्राफ़िक्स कार्ड की तुलना में Mac के पास बैंडविड्थ के मुक़ाबले मेमोरी ज़्यादा होती है। Compare हर लोकप्रिय मॉडल के लिए दोनों संख्याएँ दिखाता है।
7सवाल
- 70B मॉडल चलाने के लिए कितनी RAM चाहिए?
- 4-bit पर वेट के लिए लगभग 39 GB, ऊपर से कॉन्टेक्स्ट: असल में 64 GB या ज़्यादा वाला Mac, या कई ग्राफ़िक्स कार्ड। 8-bit पर इसे लगभग 74 GB चाहिए, यानी 128 GB।
- क्या LLM चलाने के लिए 16 GB RAM काफ़ी है?
- हाँ, 4-bit पर लगभग 14B पैरामीटर तक के मॉडल के लिए: 16 GB वाला Mac डिफ़ॉल्ट रूप से GPU को लगभग 12 GB देता है। 8B मॉडल कॉन्टेक्स्ट की जगह के साथ आराम से चलते हैं। देखें 16 GB Mac के लिए सबसे अच्छे LLM।
- 8B मॉडल को कितनी VRAM चाहिए?
- 4-bit पर लगभग 4.5 GB, 8-bit पर 8.5 GB और 16-bit पर 16 GB, ऊपर से Qwen3 8B के मामले में 8,000 टोकन के कॉन्टेक्स्ट के लिए लगभग 1.2 GB।
- क्या कॉन्टेक्स्ट की लंबाई मेमोरी लेती है?
- हाँ। KV cache बातचीत के हर टोकन के साथ बढ़ता है। Qwen3 8B के लिए यह 16-bit पर लगभग 147 KB प्रति टोकन है: 32,000 टोकन पर लगभग 4.8 GB।
- क्या मैं अपनी RAM से बड़ा मॉडल चला सकता हूँ?
- काम लायक़ नहीं। अगर वेट नहीं आते, तो सिस्टम swap करता है या धीमी मेमोरी से पढ़ता है, और आउटपुट रेंगने लगता है। कम प्रिसिज़न, छोटा मॉडल या mixture-of-experts मॉडल इस्तेमाल करें, या उसे कई मशीनों पर बाँटें: देखें Mac AI क्लस्टर।