थोडक्यात
- वेट: पॅरामीटर × प्रति वेट बिट ÷ 8. MLX च्या 4-बिट फॉरमॅटमध्ये हे प्रति अब्ज पॅरामीटर सुमारे 0.56 GB होते; 8-बिटवर सुमारे 1.06 GB, 16-बिटवर 2 GB.
- म्हणजे 8B मॉडेलला 4-बिटवर सुमारे 4.5 GB, 32B मॉडेलला सुमारे 18 GB आणि 70B मॉडेलला सुमारे 39 GB लागतात, कॉन्टेक्स्टआधी.
- कॉन्टेक्स्ट (KV cache) त्यावर येतो आणि प्रत्येक टोकनसोबत वाढतो: Qwen3 8B साठी 32,000 टोकनचा कॉन्टेक्स्ट सुमारे 4.8 GB घेतो, त्याच्या 4-बिट वेटपेक्षा जास्त.
- Mac वर GPU डीफॉल्टने युनिफाइड मेमरीच्या सुमारे 75% वापरू शकतो, म्हणून 16 GB च्या Mac मध्ये मॉडेलसाठी सुमारे 12 GB असतात. PC वर, पूर्ण वेगाने चालण्यासाठी मॉडेल ग्राफिक्स कार्डच्या स्वतःच्या VRAM मध्ये बसावे लागते.
1नियम: पॅरामीटर × बिट
मॉडेल म्हणजे मुख्यतः त्याचे वेट: प्रत्येक पॅरामीटरसाठी एक संख्या. 16 बिटमध्ये साठवल्यास प्रत्येक 2 बाइट घेतो, म्हणून मॉडेलला प्रति अब्ज पॅरामीटर 2 GB लागतात. क्वांटायझेशन प्रत्येक वेट कमी बिटमध्ये साठवते, ज्यामुळे मॉडेल जवळजवळ त्याच प्रमाणात लहान होते; 4 बिटवर बहुतेक मॉडेल त्यांच्या मूळ गुणवत्तेच्या जवळ राहतात.
क्वांटाइझ केलेले फॉरमॅट वेट पुन्हा तयार करण्यासाठी थोडी अधिक माहितीही साठवतात. Apple चे MLX डीफॉल्टने प्रत्येक 64 वेटच्या गटासाठी एक स्केल आणि एक बायस ठेवते, मॉडेलच्या स्वतःच्या 16-बिट प्रकारात (MLX), ज्यामुळे प्रति वेट अर्धा बिट वाढतो. त्यातून हे आकार मिळतात:
| प्रिसिजन | प्रति वेट बिट | प्रति अब्ज पॅरामीटर GB |
|---|---|---|
| 16-बिट (मूळ) | 16 | 2.0 |
| 8-बिट | 8.5 | सुमारे 1.06 |
| 6-बिट | 6.5 | सुमारे 0.81 |
| 4-बिट | 4.5 | सुमारे 0.56 |
| 3-बिट | 3.5 | सुमारे 0.44 |
| 2-बिट | 2.5 | सुमारे 0.31 |
4 बिटच्या खाली गुणवत्ता वेगाने घसरते. चांगला डीफॉल्ट पर्याय: जी सर्वोच्च प्रिसिजन मोकळी जागा ठेवून बसते, ती.
2सामान्य मॉडेल आकारांसाठी मेमरी
| मॉडेल आकार | 16-बिट | 8-बिट | 4-बिट | 3-बिट |
|---|---|---|---|---|
| 1B | 2 GB | 1.1 GB | 0.6 GB | 0.4 GB |
| 3B | 6 GB | 3.2 GB | 1.7 GB | 1.3 GB |
| 8B | 16 GB | 8.5 GB | 4.5 GB | 3.5 GB |
| 14B | 28 GB | 14.9 GB | 7.9 GB | 6.1 GB |
| 32B | 64 GB | 34 GB | 18 GB | 14 GB |
| 70B | 140 GB | 74.4 GB | 39.4 GB | 30.6 GB |
| 120B | 240 GB | 127.5 GB | 67.5 GB | 52.5 GB |
| 235B | 470 GB | 249.7 GB | 132.2 GB | 102.8 GB |
| 405B | 810 GB | 430.3 GB | 227.8 GB | 177.2 GB |
| 671B | 1,342 GB | 712.9 GB | 377.4 GB | 293.6 GB |
काही मॉडेल स्वतःच्याच कमी प्रिसिजनमध्ये येतात. OpenAI च्या gpt-oss-120b मध्ये 117 अब्ज पॅरामीटर आहेत आणि ते आपले mixture-of-experts वेट MXFP4 या 4-बिट फॉरमॅटमध्ये ठेवते, म्हणून ते एकाच 80 GB GPU वर बसते (OpenAI). एखाद्या विशिष्ट मॉडेलसाठी त्याचे पेज उघडा: प्रत्येक ओपन मॉडेल आणि त्याला लागणारा Mac, उदाहरणार्थ gpt-oss-120b किंवा Llama 3.3 70B.
3कॉन्टेक्स्टलाही मेमरी लागते
मॉडेल वाचत आणि लिहित असताना, संवादाच्या प्रत्येक टोकनसाठी प्रत्येक लेयरमध्ये एक key आणि एक value ठेवते: हा KV cache. त्याचा आकार 2 × लेयर × KV heads × head आकार × प्रति value बाइट × टोकन असा असतो.
उदाहरणार्थ, Qwen3 8B मध्ये 36 लेयर, 8 KV heads आणि 128 चा head आकार आहे, 16-बिटमध्ये साठवलेले (config). म्हणजे प्रति टोकन 147,456 बाइट:
| कॉन्टेक्स्ट | Qwen3 8B साठी KV cache (16-बिट) |
|---|---|
| 8,192 टोकन | सुमारे 1.2 GB |
| 32,768 टोकन | सुमारे 4.8 GB |
| 40,960 टोकन (त्याचा पूर्ण कॉन्टेक्स्ट) | सुमारे 6.0 GB |
grouped-query attention असलेली मॉडेल, यासारखी, attention heads पेक्षा कमी KV heads ठेवतात (32 च्या तुलनेत 8), ज्यामुळे कॅशे आधीच चार पट कमी होतो. कॅशे क्वांटाइझ करून तुम्ही आणखी वाचवू शकता: mlx-lm चा सर्व्हर --kv-bits 4 घेतो (mlx-lm). चॅटसाठी काही हजार टोकनचा कॉन्टेक्स्ट भरपूर आहे; एजंट, लांब दस्तऐवज किंवा कोडसाठी अनेक गिगाबाइटची तरतूद ठेवा.
4Mac वर किती मोठे मॉडेल बसते
Mac ची मेमरी CPU आणि GPU वाटून घेतात, आणि macOS डीफॉल्टने GPU ला त्यातील फक्त एक भाग वापरू देते. आमचे Compare पेज सुमारे 75% धरते; mlx-lm चे README macOS 15 किंवा नंतर sudo sysctl iogpu.wired_limit_mb=N ने ही मर्यादा कशी वाढवायची ते दाखवते (mlx-lm), पण macOS आणि तुमच्या इतर ॲप्सना तरीही जागा लागते.
| Mac ची मेमरी | GPU साठी (सुमारे 75%) | 4-बिटवर सर्वात मोठे मॉडेल | 8-बिटवर सर्वात मोठे |
|---|---|---|---|
| 8 GB | 6 GB | सुमारे 10B | सुमारे 5B |
| 16 GB | 12 GB | सुमारे 21B | सुमारे 11B |
| 24 GB | 18 GB | सुमारे 32B | सुमारे 16B |
| 32 GB | 24 GB | सुमारे 42B | सुमारे 22B |
| 36 GB | 27 GB | सुमारे 48B | सुमारे 25B |
| 48 GB | 36 GB | सुमारे 64B | सुमारे 33B |
| 64 GB | 48 GB | सुमारे 85B | सुमारे 45B |
| 96 GB | 72 GB | सुमारे 128B | सुमारे 67B |
| 128 GB | 96 GB | सुमारे 170B | सुमारे 90B |
| 256 GB | 192 GB | सुमारे 341B | सुमारे 180B |
| 512 GB | 384 GB | सुमारे 682B | सुमारे 361B |
काय बसते हे मेमरी ठरवते; ते किती वेगाने लिहिते हे मेमरी बँडविड्थ ठरवते. लोकल LLM साठी सर्वोत्तम Mac हा दुसरा भाग समजावतो, आणि प्रत्येक Mac, क्रमवारीत दोन्ही एकत्र मांडतो.
5RAM, VRAM आणि युनिफाइड मेमरी
ग्राफिक्स कार्ड असलेल्या PC वर, मॉडेल कार्डच्या स्वतःच्या मेमरीत, म्हणजे VRAM मध्ये बसले तरच पूर्ण वेगाने चालते: RTX 5090 वर 32 GB (NVIDIA). न बसणारे लेयर PC च्या सिस्टम RAM मधून चालू शकतात, पण ती मेमरी वाचायला खूपच हळू असते, त्यामुळे मॉडेल खूप मंदावते.
Mac मध्ये वेगळी VRAM नसते: GPU तीच युनिफाइड मेमरी वाचतो जी CPU वाचतो, म्हणूनच 64 GB किंवा 128 GB चा Mac अशी मॉडेल सामावू शकतो जी कोणतेही एक ग्राहक ग्राफिक्स कार्ड सामावू शकत नाही. काही PC आता याच पद्धतीने काम करतात, जसे NVIDIA चे DGX Spark आणि CPU व GPU मध्ये वाटलेल्या 128 GB सह AMD ची Ryzen AI Max मशीन: M5 Max vs DGX Spark आणि M5 Max vs RTX 5090 पाहा.
6Mixture-of-experts मॉडेल
mixture-of-experts मॉडेल आपले सगळे पॅरामीटर मेमरीत ठेवते, पण प्रत्येक टोकनसाठी त्यातील फक्त काहीच वापरते. मेमरी एकूण आकारानुसार लागते; वेग सक्रिय भागानुसार ठरतो. gpt-oss-20b मध्ये 21 अब्ज पॅरामीटर आहेत, त्यातील 3.6 अब्ज सक्रिय (OpenAI): त्याला 21B मॉडेलइतकी मेमरी लागते आणि ते साधारण 4B मॉडेलइतक्या वेगाने लिहिते.
म्हणूनच mixture-of-experts मॉडेल Mac साठी योग्य आहेत, कारण ग्राफिक्स कार्डच्या तुलनेत Mac कडे बँडविड्थपेक्षा मेमरी जास्त असते. Compare प्रत्येक लोकप्रिय मॉडेलसाठी दोन्ही आकडे दाखवते.
7प्रश्न
- 70B मॉडेल चालवायला किती RAM लागते?
- 4-बिटवर वेटसाठी सुमारे 39 GB, शिवाय कॉन्टेक्स्ट: प्रत्यक्षात 64 GB किंवा जास्त मेमरीचा Mac, किंवा अनेक ग्राफिक्स कार्ड. 8-बिटवर सुमारे 74 GB लागतात, म्हणजे 128 GB.
- LLM चालवायला 16 GB RAM पुरेशी आहे का?
- हो, 4-बिटवर सुमारे 14B पॅरामीटरपर्यंतच्या मॉडेलसाठी: 16 GB चा Mac डीफॉल्टने GPU ला सुमारे 12 GB देतो. 8B मॉडेल कॉन्टेक्स्टसाठी जागा ठेवून आरामात चालतात. 16 GB Mac साठी सर्वोत्तम LLM पाहा.
- 8B मॉडेलला किती VRAM लागते?
- 4-बिटवर सुमारे 4.5 GB, 8-बिटवर 8.5 GB आणि 16-बिटवर 16 GB, शिवाय Qwen3 8B च्या बाबतीत 8,000 टोकनच्या कॉन्टेक्स्टसाठी सुमारे 1.2 GB.
- कॉन्टेक्स्टची लांबी मेमरी वापरते का?
- हो. संवादातील प्रत्येक टोकनसोबत KV cache वाढतो. Qwen3 8B साठी 16-बिटवर तो प्रति टोकन सुमारे 147 KB आहे: 32,000 टोकनवर सुमारे 4.8 GB.
- माझ्या RAM पेक्षा मोठे मॉडेल चालवता येते का?
- उपयोगी पद्धतीने नाही. वेट बसले नाहीत तर सिस्टम स्वॅप करते किंवा हळू मेमरीतून वाचते, आणि आउटपुट रेंगाळते. कमी प्रिसिजन, लहान मॉडेल किंवा mixture-of-experts मॉडेल वापरा, किंवा ते अनेक मशीनवर वाटा: Mac AI क्लस्टर पाहा.