Versi singkatnya
- Bobot: parameter × bit per bobot ÷ 8. Dengan format 4-bit MLX, itu sekitar 0,56 GB per miliar parameter; pada 8-bit sekitar 1,06 GB, pada 16-bit 2 GB.
- Jadi model 8B butuh sekitar 4,5 GB pada 4-bit, model 32B sekitar 18 GB, dan model 70B sekitar 39 GB, belum termasuk konteks.
- Konteks (KV cache) menambah kebutuhan memori dan tumbuh di setiap token: untuk Qwen3 8B, konteks 32.000 token memakan sekitar 4,8 GB, lebih besar dari bobot 4-bit-nya.
- Di Mac, GPU secara bawaan bisa memakai sekitar 75% memori terpadu, jadi Mac 16 GB menyisakan sekitar 12 GB untuk model. Di PC, model harus muat di VRAM kartu grafis itu sendiri agar berjalan dengan kecepatan penuh.
1Aturannya: parameter × bit
Sebagian besar isi model adalah bobotnya: satu angka per parameter. Jika disimpan dalam 16 bit, masing-masing memakan 2 byte, jadi model butuh 2 GB per miliar parameter. Kuantisasi menyimpan tiap bobot dalam bit yang lebih sedikit, sehingga ukuran model menyusut hampir sebanding; pada 4 bit, sebagian besar model tetap mendekati kualitas aslinya.
Format terkuantisasi juga menyimpan sedikit data tambahan untuk merekonstruksi bobot. MLX dari Apple secara bawaan menyimpan satu skala dan satu bias untuk setiap kelompok 64 bobot, dalam tipe 16-bit model itu sendiri (MLX), yang menambah setengah bit per bobot. Hasilnya ukuran berikut:
| Presisi | Bit per bobot | GB per miliar parameter |
|---|---|---|
| 16-bit (asli) | 16 | 2,0 |
| 8-bit | 8,5 | sekitar 1,06 |
| 6-bit | 6,5 | sekitar 0,81 |
| 4-bit | 4,5 | sekitar 0,56 |
| 3-bit | 3,5 | sekitar 0,44 |
| 2-bit | 2,5 | sekitar 0,31 |
Di bawah 4 bit, kualitas turun lebih cepat. Pilihan aman: presisi tertinggi yang masih muat dengan ruang tersisa.
2Memori untuk ukuran model yang umum
| Ukuran model | 16-bit | 8-bit | 4-bit | 3-bit |
|---|---|---|---|---|
| 1B | 2 GB | 1,1 GB | 0,6 GB | 0,4 GB |
| 3B | 6 GB | 3,2 GB | 1,7 GB | 1,3 GB |
| 8B | 16 GB | 8,5 GB | 4,5 GB | 3,5 GB |
| 14B | 28 GB | 14,9 GB | 7,9 GB | 6,1 GB |
| 32B | 64 GB | 34 GB | 18 GB | 14 GB |
| 70B | 140 GB | 74,4 GB | 39,4 GB | 30,6 GB |
| 120B | 240 GB | 127,5 GB | 67,5 GB | 52,5 GB |
| 235B | 470 GB | 249,7 GB | 132,2 GB | 102,8 GB |
| 405B | 810 GB | 430,3 GB | 227,8 GB | 177,2 GB |
| 671B | 1.342 GB | 712,9 GB | 377,4 GB | 293,6 GB |
Beberapa model dirilis dalam presisi rendah bawaannya sendiri. gpt-oss-120b dari OpenAI punya 117 miliar parameter dan menyimpan bobot mixture-of-experts-nya dalam format 4-bit, MXFP4, sehingga muat di satu GPU 80 GB (OpenAI). Untuk model tertentu, buka halamannya: setiap model terbuka dan Mac yang dibutuhkannya, misalnya gpt-oss-120b atau Llama 3.3 70B.
3Konteks juga memakan memori
Saat model membaca dan menulis, ia menyimpan satu key dan satu value untuk setiap token percakapan di setiap layer: itulah KV cache. Ukurannya 2 × layer × KV head × ukuran head × byte per nilai × token.
Qwen3 8B, misalnya, punya 36 layer, 8 KV head, dan ukuran head 128, disimpan dalam 16-bit (config). Itu berarti 147.456 byte per token:
| Konteks | KV cache untuk Qwen3 8B (16-bit) |
|---|---|
| 8.192 token | sekitar 1,2 GB |
| 32.768 token | sekitar 4,8 GB |
| 40.960 token (konteks penuhnya) | sekitar 6,0 GB |
Model dengan grouped-query attention, seperti yang ini, menyimpan lebih sedikit KV head daripada attention head (8 dibanding 32), yang sudah memangkas cache menjadi seperempat. Anda bisa menghemat lebih banyak dengan mengkuantisasi cache: server mlx-lm menerima --kv-bits 4 (mlx-lm). Untuk chat, konteks beberapa ribu token sudah cukup; untuk agen, dokumen panjang, atau kode, sisihkan beberapa gigabyte.
4Seberapa besar model yang muat di Mac
Memori Mac dipakai bersama oleh CPU dan GPU, dan macOS secara bawaan hanya mengizinkan GPU memakai sebagian. Halaman Compare kami menghitung sekitar 75%; README mlx-lm menjelaskan cara menaikkan batas itu di macOS 15 atau yang lebih baru dengan sudo sysctl iogpu.wired_limit_mb=N (mlx-lm), tetapi macOS dan aplikasi lain tetap butuh ruang.
| Memori Mac | Untuk GPU (sekitar 75%) | Model terbesar pada 4-bit | Terbesar pada 8-bit |
|---|---|---|---|
| 8 GB | 6 GB | sekitar 10B | sekitar 5B |
| 16 GB | 12 GB | sekitar 21B | sekitar 11B |
| 24 GB | 18 GB | sekitar 32B | sekitar 16B |
| 32 GB | 24 GB | sekitar 42B | sekitar 22B |
| 36 GB | 27 GB | sekitar 48B | sekitar 25B |
| 48 GB | 36 GB | sekitar 64B | sekitar 33B |
| 64 GB | 48 GB | sekitar 85B | sekitar 45B |
| 96 GB | 72 GB | sekitar 128B | sekitar 67B |
| 128 GB | 96 GB | sekitar 170B | sekitar 90B |
| 256 GB | 192 GB | sekitar 341B | sekitar 180B |
| 512 GB | 384 GB | sekitar 682B | sekitar 361B |
Memori menentukan apa yang muat; bandwidth memori menentukan seberapa cepat model menulis. Mac terbaik untuk LLM lokal menjelaskan bagian kedua, dan semua Mac, diperingkat menggabungkan keduanya.
5RAM, VRAM, dan memori terpadu
Di PC dengan kartu grafis, model hanya berjalan dengan kecepatan penuh jika muat di memori kartu itu sendiri, yaitu VRAM-nya: 32 GB di RTX 5090 (NVIDIA). Layer yang tidak muat bisa dijalankan dari RAM sistem PC, tetapi memori itu jauh lebih lambat dibaca, sehingga model melambat drastis.
Mac tidak punya VRAM terpisah: GPU membaca memori terpadu yang sama dengan CPU, itulah sebabnya Mac dengan 64 GB atau 128 GB bisa menampung model yang tidak muat di kartu grafis konsumen mana pun. Beberapa PC kini bekerja dengan cara yang sama, seperti DGX Spark dari NVIDIA dan mesin AMD Ryzen AI Max dengan 128 GB yang dipakai bersama CPU dan GPU: lihat M5 Max vs DGX Spark dan M5 Max vs RTX 5090.
6Model mixture-of-experts
Model mixture-of-experts menyimpan semua parameternya di memori, tetapi hanya memakai sebagian kecil untuk setiap token. Kebutuhan memori mengikuti totalnya; kecepatan mengikuti bagian yang aktif. gpt-oss-20b punya 21 miliar parameter dengan 3,6 miliar aktif (OpenAI): ia butuh memori seperti model 21B dan menulis kira-kira secepat model 4B.
Karena itu model mixture-of-experts cocok untuk Mac, yang punya memori lebih besar dibanding bandwidth-nya jika dibandingkan dengan kartu grafis. Compare menampilkan kedua angka itu untuk setiap model populer.
7Pertanyaan
- Butuh RAM berapa untuk menjalankan model 70B?
- Sekitar 39 GB untuk bobot pada 4-bit, plus konteks: dalam praktiknya Mac dengan 64 GB atau lebih, atau beberapa kartu grafis. Pada 8-bit butuh sekitar 74 GB, jadi 128 GB.
- Apakah RAM 16 GB cukup untuk menjalankan LLM?
- Ya, untuk model hingga sekitar 14B parameter pada 4-bit: Mac 16 GB secara bawaan memberi GPU sekitar 12 GB. Model 8B berjalan nyaman dengan ruang untuk konteks. Lihat LLM terbaik untuk Mac 16 GB.
- Butuh VRAM berapa untuk model 8B?
- Sekitar 4,5 GB pada 4-bit, 8,5 GB pada 8-bit, dan 16 GB pada 16-bit, plus sekitar 1,2 GB untuk konteks 8.000 token pada Qwen3 8B.
- Apakah panjang konteks memakan memori?
- Ya. KV cache tumbuh di setiap token percakapan. Untuk Qwen3 8B, sekitar 147 KB per token pada 16-bit: sekitar 4,8 GB pada 32.000 token.
- Bisakah saya menjalankan model yang lebih besar dari RAM saya?
- Tidak secara berguna. Jika bobot tidak muat, sistem melakukan swap atau membaca dari memori yang lebih lambat, dan keluaran jadi sangat lambat. Pakai presisi lebih rendah, model lebih kecil, atau model mixture-of-experts, atau sebar ke beberapa mesin: lihat cluster AI Mac.