Kwa ufupi
- Weights: vigezo × biti kwa kila weight ÷ 8. Kwa muundo wa 4-bit wa MLX hiyo ni takriban GB 0.56 kwa kila vigezo bilioni; kwa 8-bit takriban GB 1.06, kwa 16-bit GB 2.
- Kwa hiyo modeli ya 8B inahitaji takriban GB 4.5 kwa 4-bit, modeli ya 32B takriban GB 18 na modeli ya 70B takriban GB 39, kabla ya context.
- Context (KV cache) huongezeka juu ya hapo na hukua kwa kila tokeni: kwa Qwen3 8B, context ya tokeni 32,000 huchukua takriban GB 4.8, zaidi ya weights zake za 4-bit.
- Kwenye Mac, GPU inaweza kutumia takriban 75% ya unified memory kwa chaguo-msingi, hivyo Mac ya GB 16 ina takriban GB 12 kwa modeli. Kwenye PC, modeli lazima itoshe kwenye VRAM ya kadi ya grafiki yenyewe ili iende kwa kasi kamili.
1Kanuni: vigezo × biti
Sehemu kubwa ya modeli ni weights zake: namba moja kwa kila kigezo. Zikihifadhiwa kwa biti 16, kila moja huchukua baiti 2, hivyo modeli inahitaji GB 2 kwa kila vigezo bilioni. Quantization huhifadhi kila weight kwa biti chache zaidi, jambo linalopunguza modeli karibu kwa uwiano huo; kwa biti 4 modeli nyingi hubaki karibu na ubora wake wa awali.
Miundo iliyofanyiwa quantization pia huhifadhi ziada kidogo ili kujenga upya weights. MLX ya Apple huweka scale na bias kwa kila kundi la weights 64 kwa chaguo-msingi, katika aina ya 16-bit ya modeli yenyewe (MLX), jambo linaloongeza nusu biti kwa kila weight. Hiyo inatoa ukubwa huu:
| Usahihi | Biti kwa kila weight | GB kwa kila vigezo bilioni |
|---|---|---|
| 16-bit (asili) | 16 | 2.0 |
| 8-bit | 8.5 | takriban 1.06 |
| 6-bit | 6.5 | takriban 0.81 |
| 4-bit | 4.5 | takriban 0.56 |
| 3-bit | 3.5 | takriban 0.44 |
| 2-bit | 2.5 | takriban 0.31 |
Chini ya biti 4, ubora hushuka kwa kasi zaidi. Chaguo-msingi zuri ni usahihi wa juu zaidi unaotosha huku ukibakiza nafasi.
2Kumbukumbu kwa ukubwa wa kawaida wa modeli
| Ukubwa wa modeli | 16-bit | 8-bit | 4-bit | 3-bit |
|---|---|---|---|---|
| 1B | 2 GB | 1.1 GB | 0.6 GB | 0.4 GB |
| 3B | 6 GB | 3.2 GB | 1.7 GB | 1.3 GB |
| 8B | 16 GB | 8.5 GB | 4.5 GB | 3.5 GB |
| 14B | 28 GB | 14.9 GB | 7.9 GB | 6.1 GB |
| 32B | 64 GB | 34 GB | 18 GB | 14 GB |
| 70B | 140 GB | 74.4 GB | 39.4 GB | 30.6 GB |
| 120B | 240 GB | 127.5 GB | 67.5 GB | 52.5 GB |
| 235B | 470 GB | 249.7 GB | 132.2 GB | 102.8 GB |
| 405B | 810 GB | 430.3 GB | 227.8 GB | 177.2 GB |
| 671B | 1,342 GB | 712.9 GB | 377.4 GB | 293.6 GB |
Baadhi ya modeli hutolewa zikiwa tayari na usahihi wa chini. gpt-oss-120b ya OpenAI ina vigezo bilioni 117 na huhifadhi weights zake za mixture-of-experts katika muundo wa 4-bit, MXFP4, hivyo inatosha kwenye GPU moja ya GB 80 (OpenAI). Kwa modeli maalum, fungua ukurasa wake: kila modeli huria na Mac inayohitaji, kwa mfano gpt-oss-120b au Llama 3.3 70B.
3Context nayo huchukua kumbukumbu
Modeli inaposoma na kuandika, huhifadhi key na value kwa kila tokeni ya mazungumzo katika kila layer: hiyo ndiyo KV cache. Ukubwa wake ni 2 × layers × KV heads × ukubwa wa head × baiti kwa kila thamani × tokeni.
Qwen3 8B, kwa mfano, ina layers 36, KV heads 8 na ukubwa wa head wa 128, zikihifadhiwa kwa 16-bit (config). Hiyo ni baiti 147,456 kwa kila tokeni:
| Context | KV cache ya Qwen3 8B (16-bit) |
|---|---|
| Tokeni 8,192 | takriban 1.2 GB |
| Tokeni 32,768 | takriban 4.8 GB |
| Tokeni 40,960 (context yake kamili) | takriban 6.0 GB |
Modeli zenye grouped-query attention, kama hii, huweka KV heads chache kuliko attention heads (8 dhidi ya 32), jambo ambalo tayari hupunguza cache mara nne. Unaweza kuokoa zaidi kwa kufanya quantization ya cache: seva ya mlx-lm inapokea --kv-bits 4 (mlx-lm). Kwa mazungumzo, tokeni elfu chache za context zinatosha; kwa agents, nyaraka ndefu au code, panga gigabaiti kadhaa.
4Modeli kubwa kiasi gani inatosha kwenye Mac
Kumbukumbu ya Mac inashirikiwa na CPU na GPU, na macOS huiruhusu GPU kutumia sehemu yake tu kwa chaguo-msingi. Ukurasa wetu wa Compare huhesabu takriban 75%; README ya mlx-lm inaonyesha jinsi ya kuongeza kikomo hicho kwenye macOS 15 au mpya zaidi kwa sudo sysctl iogpu.wired_limit_mb=N (mlx-lm), lakini macOS na programu zako nyingine bado zinahitaji nafasi.
| Kumbukumbu ya Mac | Kwa GPU (takriban 75%) | Modeli kubwa zaidi kwa 4-bit | Kubwa zaidi kwa 8-bit |
|---|---|---|---|
| 8 GB | 6 GB | takriban 10B | takriban 5B |
| 16 GB | 12 GB | takriban 21B | takriban 11B |
| 24 GB | 18 GB | takriban 32B | takriban 16B |
| 32 GB | 24 GB | takriban 42B | takriban 22B |
| 36 GB | 27 GB | takriban 48B | takriban 25B |
| 48 GB | 36 GB | takriban 64B | takriban 33B |
| 64 GB | 48 GB | takriban 85B | takriban 45B |
| 96 GB | 72 GB | takriban 128B | takriban 67B |
| 128 GB | 96 GB | takriban 170B | takriban 90B |
| 256 GB | 192 GB | takriban 341B | takriban 180B |
| 512 GB | 384 GB | takriban 682B | takriban 361B |
Kumbukumbu huamua kinachotosha; bandwidth ya kumbukumbu huamua kasi ya kuandika. Mac bora kwa LLM za ndani inaeleza nusu ya pili, na kila Mac, kwa mpangilio inaweka vyote viwili pamoja.
5RAM, VRAM na unified memory
Kwenye PC yenye kadi ya grafiki, modeli huenda kwa kasi kamili tu ikiwa inatosha kwenye kumbukumbu ya kadi yenyewe, yaani VRAM yake: GB 32 kwenye RTX 5090 (NVIDIA). Layers zisizotosha zinaweza kuendeshwa kutoka kwenye RAM ya mfumo wa PC badala yake, lakini kumbukumbu hiyo ni ya polepole sana kusoma, hivyo modeli hupungua kasi sana.
Mac haina VRAM tofauti: GPU husoma unified memory ileile kama CPU, ndiyo sababu Mac yenye GB 64 au GB 128 inaweza kubeba modeli ambazo hakuna kadi moja ya grafiki ya kawaida inayoweza. PC chache sasa zinafanya kazi kwa njia hiyohiyo, kama DGX Spark ya NVIDIA na mashine za AMD Ryzen AI Max zenye GB 128 zinazoshirikiwa kati ya CPU na GPU: tazama M5 Max dhidi ya DGX Spark na M5 Max dhidi ya RTX 5090.
6Modeli za mixture-of-experts
Modeli ya mixture-of-experts huweka vigezo vyake vyote kwenye kumbukumbu lakini hutumia vichache tu kwa kila tokeni. Kumbukumbu hufuata jumla; kasi hufuata sehemu inayotumika. gpt-oss-20b ina vigezo bilioni 21, bilioni 3.6 vikiwa vinatumika (OpenAI): inahitaji kumbukumbu kama modeli ya 21B na huandika karibu kwa kasi ya modeli ya 4B.
Hilo hufanya modeli za mixture-of-experts zifae Mac, ambazo zina kumbukumbu nyingi kuliko bandwidth ukilinganisha na kadi za grafiki. Compare huonyesha takwimu zote mbili kwa kila modeli maarufu.
7Maswali
- Ninahitaji RAM kiasi gani kuendesha modeli ya 70B?
- Takriban GB 39 kwa weights kwa 4-bit, pamoja na context: kwa vitendo Mac yenye GB 64 au zaidi, au kadi kadhaa za grafiki. Kwa 8-bit inahitaji takriban GB 74, hivyo GB 128.
- Je, RAM ya GB 16 inatosha kuendesha LLM?
- Ndiyo, kwa modeli hadi takriban vigezo bilioni 14 kwa 4-bit: Mac ya GB 16 huipa GPU takriban GB 12 kwa chaguo-msingi. Modeli za 8B huenda vizuri na nafasi ya context. Tazama LLM bora kwa Mac ya GB 16.
- Modeli ya 8B inahitaji VRAM kiasi gani?
- Takriban GB 4.5 kwa 4-bit, GB 8.5 kwa 8-bit na GB 16 kwa 16-bit, pamoja na takriban GB 1.2 kwa context ya tokeni 8,000 kwa Qwen3 8B.
- Je, urefu wa context hutumia kumbukumbu?
- Ndiyo. KV cache hukua kwa kila tokeni ya mazungumzo. Kwa Qwen3 8B ni takriban KB 147 kwa kila tokeni kwa 16-bit: takriban GB 4.8 kwa tokeni 32,000.
- Je, naweza kuendesha modeli kubwa kuliko RAM yangu?
- Si kwa manufaa. Weights zisipotosha, mfumo hutumia swap au husoma kutoka kumbukumbu ya polepole, na uandishi hupungua kasi mno. Tumia usahihi wa chini, modeli ndogo zaidi au modeli ya mixture-of-experts, au isambaze kwenye mashine kadhaa: tazama cluster za AI za Mac.