LLM ચલાવવા કેટલી RAM જોઈએ?

1નિયમ: પૅરામીટર × bit

મૉડલ મુખ્યત્વે તેના વેઇટ છે: દરેક પૅરામીટર માટે એક સંખ્યા. 16 bitમાં સંગ્રહેલી દરેક સંખ્યા 2 byte લે છે, એટલે મૉડલને પ્રતિ અબજ પૅરામીટર 2 GB જોઈએ. ક્વૉન્ટાઇઝેશન દરેક વેઇટને ઓછા bitમાં સંગ્રહે છે, જે મૉડલને લગભગ એ જ પ્રમાણમાં નાનું કરે છે; 4 bit પર મોટા ભાગનાં મૉડલ તેમની મૂળ ગુણવત્તાની નજીક રહે છે.

ક્વૉન્ટાઇઝ્ડ ફૉર્મેટ વેઇટ ફરી બનાવવા થોડું વધારાનું પણ સંગ્રહે છે. Appleનું MLX ડિફૉલ્ટ રીતે દર 64 વેઇટના જૂથ માટે એક scale અને એક bias, મૉડલના પોતાના 16-bit પ્રકારમાં રાખે છે (MLX), જે પ્રતિ વેઇટ અડધો bit ઉમેરે છે. તેનાથી આ કદ મળે છે:

4 bitથી નીચે ગુણવત્તા ઝડપથી ઘટે છે. સારો ડિફૉલ્ટ: જે સૌથી ઊંચી પ્રિસિઝન જગ્યા બાકી રાખીને સમાય તે.

2સામાન્ય મૉડલ કદ માટે મેમરી

કેટલાંક મૉડલ પોતાની નીચી પ્રિસિઝનમાં જ આવે છે. OpenAIના gpt-oss-120bમાં 117 અબજ પૅરામીટર છે અને તે mixture-of-experts વેઇટને 4-bit ફૉર્મેટ MXFP4માં રાખે છે, એટલે તે એક જ 80 GB GPUમાં સમાય છે (OpenAI). કોઈ ચોક્કસ મૉડલ માટે તેનું પેજ ખોલો: દરેક ઓપન મૉડલ અને તેને જોઈતું Mac, ઉદાહરણ તરીકે gpt-oss-120b કે Llama 3.3 70B.

3કૉન્ટેક્સ્ટ પણ મેમરી લે છે

મૉડલ વાંચે અને લખે ત્યારે તે દરેક લેયરમાં વાતચીતના દરેક ટોકન માટે એક key અને એક value રાખે છે: આ KV cache છે. તેનું કદ 2 × લેયર × KV heads × head કદ × byte પ્રતિ value × ટોકન છે.

ઉદાહરણ તરીકે, Qwen3 8Bમાં 36 લેયર, 8 KV heads અને 128નું head કદ છે, 16-bitમાં સંગ્રહેલું (config). એટલે પ્રતિ ટોકન 147,456 byte:

આના જેવાં grouped-query attentionવાળાં મૉડલ attention heads કરતાં ઓછા KV heads રાખે છે (32 સામે 8), જે કૅશને પહેલેથી ચોથા ભાગનું કરી દે છે. કૅશને ક્વૉન્ટાઇઝ કરીને વધુ બચાવી શકાય: mlx-lmનું સર્વર --kv-bits 4 લે છે (mlx-lm). ચૅટ માટે થોડા હજાર ટોકનનો કૉન્ટેક્સ્ટ પૂરતો છે; એજન્ટ, લાંબા દસ્તાવેજો કે કોડ માટે કેટલાક GB અલગ રાખો.

4Mac પર કેટલું મોટું મૉડલ સમાય

Macની મેમરી CPU અને GPU વહેંચે છે, અને macOS ડિફૉલ્ટ રીતે GPUને તેનો ફક્ત એક ભાગ વાપરવા દે છે. અમારું Compare પેજ આશરે 75% ગણે છે; mlx-lmનું README બતાવે છે કે macOS 15 કે પછીના પર sudo sysctl iogpu.wired_limit_mb=N વડે મર્યાદા કેવી રીતે વધારવી (mlx-lm), પણ macOS અને તમારી બીજી ઍપને હજી જગ્યા જોઈએ છે.

શું સમાય તે મેમરી નક્કી કરે છે; તે કેટલી ઝડપથી લખે તે મેમરી બૅન્ડવિડ્થ. લોકલ LLM માટે શ્રેષ્ઠ Mac બીજો ભાગ સમજાવે છે, અને દરેક Macનું રૅન્કિંગ બંનેને સાથે મૂકે છે.

5RAM, VRAM અને યુનિફાઇડ મેમરી

ગ્રાફિક્સ કાર્ડવાળા PC પર મૉડલ પૂરી ઝડપે ત્યારે જ ચાલે જ્યારે તે કાર્ડની પોતાની મેમરી, VRAMમાં સમાય: RTX 5090 પર 32 GB (NVIDIA). ન સમાતા લેયર PCની સિસ્ટમ RAMમાંથી ચાલી શકે, પણ એ મેમરી વાંચવામાં ઘણી ધીમી છે, એટલે મૉડલ ઘણું ધીમું પડે છે.

Macમાં અલગ VRAM નથી: GPU એ જ યુનિફાઇડ મેમરી વાંચે છે જે CPU વાંચે છે, એટલે જ 64 GB કે 128 GBવાળું Mac એવાં મૉડલ રાખી શકે છે જે કોઈ એક કન્ઝ્યુમર ગ્રાફિક્સ કાર્ડ ન રાખી શકે. હવે કેટલાક PC પણ આ રીતે કામ કરે છે, જેમ કે NVIDIAનું DGX Spark અને CPU અને GPU વચ્ચે 128 GB વહેંચતાં AMDનાં Ryzen AI Max મશીન: M5 Max વિ. DGX Spark અને M5 Max વિ. RTX 5090 જુઓ.

6Mixture-of-experts મૉડલ

Mixture-of-experts મૉડલ તેના બધા પૅરામીટર મેમરીમાં રાખે છે, પણ દરેક ટોકન માટે તેમાંથી થોડા જ વાપરે છે. મેમરી કુલ પૅરામીટર પ્રમાણે જોઈએ; ઝડપ સક્રિય ભાગ પ્રમાણે મળે. gpt-oss-20bમાં 21 અબજ પૅરામીટર છે, જેમાંથી 3.6 અબજ સક્રિય (OpenAI): તેને 21B મૉડલ જેટલી મેમરી જોઈએ છે અને તે લગભગ 4B મૉડલ જેટલી ઝડપથી લખે છે.

એટલે mixture-of-experts મૉડલ Mac માટે સારાં છે, જેમની પાસે ગ્રાફિક્સ કાર્ડની સરખામણીમાં બૅન્ડવિડ્થ કરતાં મેમરી વધુ છે. Compare દરેક લોકપ્રિય મૉડલ માટે બંને આંકડા બતાવે છે.

7પ્રશ્નો

70B મૉડલ ચલાવવા કેટલી RAM જોઈએ?

4-bit પર વેઇટ માટે આશરે 39 GB, વત્તા કૉન્ટેક્સ્ટ: વ્યવહારમાં 64 GB કે વધુવાળું Mac, કે કેટલાંક ગ્રાફિક્સ કાર્ડ. 8-bit પર તેને આશરે 74 GB જોઈએ, એટલે 128 GB.

શું LLM ચલાવવા 16 GB RAM પૂરતી છે?

હા, 4-bit પર આશરે 14B પૅરામીટર સુધીનાં મૉડલ માટે: 16 GB Mac GPUને ડિફૉલ્ટ રીતે આશરે 12 GB આપે છે. 8B મૉડલ કૉન્ટેક્સ્ટ માટે જગ્યા સાથે આરામથી ચાલે છે. 16 GB Mac માટે શ્રેષ્ઠ LLM જુઓ.

8B મૉડલને કેટલી VRAM જોઈએ?

4-bit પર આશરે 4.5 GB, 8-bit પર 8.5 GB અને 16-bit પર 16 GB, વત્તા Qwen3 8Bના કિસ્સામાં 8,000 ટોકનના કૉન્ટેક્સ્ટ માટે આશરે 1.2 GB.

શું કૉન્ટેક્સ્ટની લંબાઈ મેમરી વાપરે છે?

હા. KV cache વાતચીતના દરેક ટોકન સાથે વધે છે. Qwen3 8B માટે 16-bit પર તે પ્રતિ ટોકન આશરે 147 KB છે: 32,000 ટોકન પર આશરે 4.8 GB.

શું હું મારી RAM કરતાં મોટું મૉડલ ચલાવી શકું?

ઉપયોગી રીતે નહીં. વેઇટ ન સમાય તો સિસ્ટમ swap કરે છે કે ધીમી મેમરીમાંથી વાંચે છે, અને આઉટપુટ લગભગ અટકી જાય છે. નીચી પ્રિસિઝન, નાનું મૉડલ કે mixture-of-experts મૉડલ વાપરો, કે તેને કેટલાંક મશીન પર વહેંચો: Mac AI ક્લસ્ટર જુઓ.