Ang maikling bersyon
- Weights: parameter × bit bawat weight ÷ 8. Sa 4-bit na format ng MLX, mga 0.56 GB bawat bilyong parameter iyon; sa 8-bit mga 1.06 GB, sa 16-bit 2 GB.
- Kaya mga 4.5 GB ang kailangan ng 8B na model sa 4-bit, mga 18 GB ang 32B na model at mga 39 GB ang 70B na model, bago pa ang context.
- Dagdag pa ang context (KV cache) at lumalaki ito sa bawat token: sa Qwen3 8B, mga 4.8 GB ang 32,000 token na context, mas malaki pa sa 4-bit na weights nito.
- Sa Mac, mga 75% ng unified memory ang magagamit ng GPU bilang default, kaya mga 12 GB para sa model ang 16 GB na Mac. Sa PC, kailangang kasya ang model sa sariling VRAM ng graphics card para tumakbo nang buong bilis.
1Ang patakaran: parameter × bit
Ang model ay halos puro weights: isang numero bawat parameter. Sa 16 bit, 2 byte ang bawat isa, kaya 2 GB bawat bilyong parameter ang kailangan ng model. Sa quantization, mas kaunting bit ang ginagamit sa bawat weight, kaya lumiliit ang model nang halos katumbas nito; sa 4 bit, karamihan ng model ay nananatiling malapit sa orihinal na kalidad.
Nag-iimbak din ang mga quantized na format ng kaunting dagdag para mabuo muli ang weights. Bilang default, nagtatabi ang MLX ng Apple ng isang scale at isang bias para sa bawat grupo ng 64 weight, sa sariling 16-bit na type ng model (MLX), kaya may dagdag na kalahating bit bawat weight. Ito ang mga lumalabas na laki:
| Precision | Bit bawat weight | GB bawat bilyong parameter |
|---|---|---|
| 16-bit (orihinal) | 16 | 2.0 |
| 8-bit | 8.5 | mga 1.06 |
| 6-bit | 6.5 | mga 0.81 |
| 4-bit | 4.5 | mga 0.56 |
| 3-bit | 3.5 | mga 0.44 |
| 2-bit | 2.5 | mga 0.31 |
Sa ibaba ng 4 bit, mas mabilis bumaba ang kalidad. Magandang default ang pinakamataas na precision na kasya nang may sobrang puwang.
2Memory para sa mga karaniwang laki ng model
| Laki ng model | 16-bit | 8-bit | 4-bit | 3-bit |
|---|---|---|---|---|
| 1B | 2 GB | 1.1 GB | 0.6 GB | 0.4 GB |
| 3B | 6 GB | 3.2 GB | 1.7 GB | 1.3 GB |
| 8B | 16 GB | 8.5 GB | 4.5 GB | 3.5 GB |
| 14B | 28 GB | 14.9 GB | 7.9 GB | 6.1 GB |
| 32B | 64 GB | 34 GB | 18 GB | 14 GB |
| 70B | 140 GB | 74.4 GB | 39.4 GB | 30.6 GB |
| 120B | 240 GB | 127.5 GB | 67.5 GB | 52.5 GB |
| 235B | 470 GB | 249.7 GB | 132.2 GB | 102.8 GB |
| 405B | 810 GB | 430.3 GB | 227.8 GB | 177.2 GB |
| 671B | 1,342 GB | 712.9 GB | 377.4 GB | 293.6 GB |
May mga model na inilalabas sa sarili nilang mababang precision. May 117 bilyong parameter ang gpt-oss-120b ng OpenAI at nasa 4-bit na format, MXFP4, ang mga mixture-of-experts weight nito, kaya kasya ito sa iisang 80 GB na GPU (OpenAI). Para sa isang partikular na model, buksan ang pahina nito: bawat open model at ang Mac na kailangan nito, halimbawa gpt-oss-120b o Llama 3.3 70B.
3Gumagamit din ng memory ang context
Habang nagbabasa at nagsusulat ang model, nagtatabi ito ng key at value para sa bawat token ng usapan sa bawat layer: ang KV cache. Ang laki nito ay 2 × layer × KV head × laki ng head × byte bawat value × token.
Halimbawa, may 36 na layer, 8 KV head at head size na 128 ang Qwen3 8B, naka-store sa 16-bit (config). 147,456 byte iyon bawat token:
| Context | KV cache ng Qwen3 8B (16-bit) |
|---|---|
| 8,192 token | mga 1.2 GB |
| 32,768 token | mga 4.8 GB |
| 40,960 token (buong context nito) | mga 6.0 GB |
Ang mga model na may grouped-query attention, gaya nito, ay may mas kaunting KV head kaysa attention head (8 laban sa 32), kaya apat na beses nang mas maliit ang cache. Makakatipid ka pa sa pag-quantize ng cache: tumatanggap ang server ng mlx-lm ng --kv-bits 4 (mlx-lm). Para sa chat, sapat na ang ilang libong token ng context; para sa mga agent, mahahabang dokumento o code, maglaan ng ilang gigabyte.
4Gaano kalaking model ang kasya sa Mac
Pinaghahatian ng CPU at GPU ang memory ng Mac, at bilang default, bahagi lang nito ang ipinapagamit ng macOS sa GPU. Mga 75% ang binibilang ng aming pahinang Compare; ipinapakita ng README ng mlx-lm kung paano itaas ang limit sa macOS 15 o mas bago gamit ang sudo sysctl iogpu.wired_limit_mb=N (mlx-lm), pero kailangan pa rin ng puwang ng macOS at ng iba mong app.
| Memory ng Mac | Para sa GPU (mga 75%) | Pinakamalaking model sa 4-bit | Pinakamalaki sa 8-bit |
|---|---|---|---|
| 8 GB | 6 GB | mga 10B | mga 5B |
| 16 GB | 12 GB | mga 21B | mga 11B |
| 24 GB | 18 GB | mga 32B | mga 16B |
| 32 GB | 24 GB | mga 42B | mga 22B |
| 36 GB | 27 GB | mga 48B | mga 25B |
| 48 GB | 36 GB | mga 64B | mga 33B |
| 64 GB | 48 GB | mga 85B | mga 45B |
| 96 GB | 72 GB | mga 128B | mga 67B |
| 128 GB | 96 GB | mga 170B | mga 90B |
| 256 GB | 192 GB | mga 341B | mga 180B |
| 512 GB | 384 GB | mga 682B | mga 361B |
Memory ang nagpapasya kung ano ang kasya; memory bandwidth ang nagpapasya kung gaano kabilis itong sumulat. Ipinapaliwanag ng pinakamagandang Mac para sa local LLM ang ikalawang bahagi, at pinagsasama ang dalawa sa ranggo ng bawat Mac.
5RAM, VRAM at unified memory
Sa PC na may graphics card, tumatakbo nang buong bilis ang model kung kasya lang ito sa sariling memory ng card, ang VRAM nito: 32 GB sa RTX 5090 (NVIDIA). Puwedeng tumakbo mula sa system RAM ng PC ang mga layer na hindi kasya, pero mas mabagal basahin ang memory na iyon, kaya bumabagal nang husto ang model.
Walang hiwalay na VRAM ang Mac: binabasa ng GPU ang parehong unified memory na ginagamit ng CPU, kaya kaya ng Mac na may 64 GB o 128 GB ang mga model na hindi kasya sa kahit anong consumer graphics card. May ilang PC na ngayon na ganito rin gumana, gaya ng DGX Spark ng NVIDIA at mga Ryzen AI Max na makina ng AMD na may 128 GB na pinaghahatian ng CPU at GPU: tingnan ang M5 Max vs DGX Spark at M5 Max vs RTX 5090.
6Mga mixture-of-experts model
Nasa memory ang lahat ng parameter ng isang mixture-of-experts model, pero iilan lang ang ginagamit nito sa bawat token. Sumusunod ang memory sa kabuuan; sumusunod ang bilis sa aktibong bahagi. May 21 bilyong parameter ang gpt-oss-20b, 3.6 bilyon ang aktibo (OpenAI): kailangan nito ng memory na parang 21B na model at sumusulat ito nang halos kasimbilis ng 4B na model.
Kaya bagay ang mga mixture-of-experts model sa Mac, na mas marami ang memory kaysa bandwidth kumpara sa mga graphics card. Ipinapakita ng Compare ang dalawang numero para sa bawat sikat na model.
7Mga tanong
- Gaano karaming RAM ang kailangan para sa 70B na model?
- Mga 39 GB para sa weights sa 4-bit, dagdag ang context: sa praktika, Mac na may 64 GB o higit pa, o ilang graphics card. Sa 8-bit, mga 74 GB ang kailangan, kaya 128 GB.
- Sapat ba ang 16 GB na RAM para magpatakbo ng LLM?
- Oo, para sa mga model na hanggang mga 14B parameter sa 4-bit: mga 12 GB ang ibinibigay ng 16 GB na Mac sa GPU bilang default. Komportableng tumatakbo ang mga 8B na model nang may puwang para sa context. Tingnan ang pinakamagandang LLM para sa 16 GB na Mac.
- Gaano karaming VRAM ang kailangan ng 8B na model?
- Mga 4.5 GB sa 4-bit, 8.5 GB sa 8-bit at 16 GB sa 16-bit, dagdag ang mga 1.2 GB para sa 8,000 token na context sa kaso ng Qwen3 8B.
- Gumagamit ba ng memory ang haba ng context?
- Oo. Lumalaki ang KV cache sa bawat token ng usapan. Sa Qwen3 8B, mga 147 KB ito bawat token sa 16-bit: mga 4.8 GB sa 32,000 token.
- Puwede ba akong magpatakbo ng model na mas malaki sa RAM ko?
- Hindi nang kapaki-pakinabang. Kapag hindi kasya ang weights, nagswa-swap ang system o nagbabasa mula sa mas mabagal na memory, at halos humihinto ang output. Gumamit ng mas mababang precision, mas maliit na model o mixture-of-experts model, o ikalat ito sa ilang makina: tingnan ang mga Mac AI cluster.