Berapa banyak RAM diperlukan untuk menjalankan LLM?

1Peraturannya: parameter × bit

Sesebuah model kebanyakannya terdiri daripada pemberatnya: satu nombor bagi setiap parameter. Jika disimpan pada 16 bit, setiap satu mengambil 2 bait, jadi model memerlukan 2 GB bagi setiap bilion parameter. Pengkuantuman menyimpan setiap pemberat dalam bit yang lebih sedikit, yang mengecilkan model hampir secara berkadar; pada 4 bit kebanyakan model kekal hampir sama kualitinya dengan asal.

Format terkuantum juga menyimpan sedikit data tambahan untuk membina semula pemberat. MLX Apple menyimpan satu skala dan satu bias bagi setiap kumpulan 64 pemberat secara lalai, dalam jenis 16-bit model itu sendiri (MLX), yang menambah setengah bit bagi setiap pemberat. Ini memberikan saiz berikut:

Di bawah 4 bit, kualiti menurun lebih cepat. Pilihan lalai yang baik ialah kepersisan tertinggi yang muat dengan ruang lebih.

2Memori untuk saiz model biasa

Sesetengah model diterbitkan dalam kepersisan rendahnya sendiri. gpt-oss-120b daripada OpenAI mempunyai 117 bilion parameter dan menyimpan pemberat mixture-of-experts dalam format 4-bit, MXFP4, jadi ia muat pada satu GPU 80 GB (OpenAI). Untuk model tertentu, buka halamannya: setiap model terbuka dan Mac yang diperlukan, contohnya gpt-oss-120b atau Llama 3.3 70B.

3Konteks juga menggunakan memori

Semasa model membaca dan menulis, ia menyimpan satu kunci dan satu nilai bagi setiap token perbualan dalam setiap lapisan: KV cache. Saiznya ialah 2 × lapisan × kepala KV × saiz kepala × bait setiap nilai × token.

Qwen3 8B, contohnya, mempunyai 36 lapisan, 8 kepala KV dan saiz kepala 128, disimpan dalam 16-bit (config). Itu 147,456 bait bagi setiap token:

Model dengan grouped-query attention, seperti yang ini, menyimpan lebih sedikit kepala KV daripada kepala perhatian (8 berbanding 32), yang sudah mengecilkan cache sebanyak empat kali. Anda boleh berjimat lagi dengan mengkuantum cache: pelayan mlx-lm menerima --kv-bits 4 (mlx-lm). Untuk bersembang, beberapa ribu token konteks sudah memadai; untuk ejen, dokumen panjang atau kod, peruntukkan beberapa gigabait.

4Sebesar mana model yang muat pada Mac

Memori Mac dikongsi oleh CPU dan GPU, dan macOS hanya membenarkan GPU menggunakan sebahagian daripadanya secara lalai. Halaman Compare kami mengira kira-kira 75%; README mlx-lm menunjukkan cara menaikkan had itu pada macOS 15 atau lebih baharu dengan sudo sysctl iogpu.wired_limit_mb=N (mlx-lm), tetapi macOS dan aplikasi anda yang lain masih memerlukan ruang.

Memori menentukan apa yang muat; lebar jalur memori menentukan sepantas mana ia menulis. Mac terbaik untuk LLM tempatan menerangkan bahagian kedua, dan setiap Mac, mengikut kedudukan menggabungkan kedua-duanya.

5RAM, VRAM dan memori bersatu

Pada PC dengan kad grafik, model hanya berjalan pada kelajuan penuh jika ia muat dalam memori kad itu sendiri, iaitu VRAM: 32 GB pada RTX 5090 (NVIDIA). Lapisan yang tidak muat boleh berjalan daripada RAM sistem PC, tetapi memori itu jauh lebih perlahan untuk dibaca, jadi model menjadi sangat perlahan.

Mac tidak mempunyai VRAM berasingan: GPU membaca memori bersatu yang sama dengan CPU, sebab itulah Mac dengan 64 GB atau 128 GB boleh memuatkan model yang tidak muat pada mana-mana kad grafik pengguna tunggal. Beberapa PC kini berfungsi dengan cara yang sama, seperti DGX Spark daripada NVIDIA dan mesin Ryzen AI Max daripada AMD dengan 128 GB yang dikongsi antara CPU dan GPU: lihat M5 Max vs DGX Spark dan M5 Max vs RTX 5090.

6Model mixture-of-experts

Model mixture-of-experts menyimpan semua parameternya dalam memori tetapi hanya menggunakan sebahagian kecil daripadanya bagi setiap token. Memori mengikut jumlah keseluruhan; kelajuan mengikut bahagian yang aktif. gpt-oss-20b mempunyai 21 bilion parameter dengan 3.6 bilion aktif (OpenAI): ia memerlukan memori seperti model 21B dan menulis lebih kurang sepantas model 4B.

Ini menjadikan model mixture-of-experts sangat sesuai untuk Mac, yang mempunyai lebih banyak memori berbanding lebar jalur jika dibandingkan dengan kad grafik. Compare menunjukkan kedua-dua angka untuk setiap model popular.

7Soalan

Berapa RAM yang saya perlukan untuk menjalankan model 70B?

Kira-kira 39 GB untuk pemberat pada 4-bit, serta konteks: dalam amalan, Mac dengan 64 GB atau lebih, atau beberapa kad grafik. Pada 8-bit ia memerlukan kira-kira 74 GB, jadi 128 GB.

Adakah RAM 16 GB cukup untuk menjalankan LLM?

Ya, untuk model sehingga kira-kira 14B parameter pada 4-bit: Mac 16 GB memberi GPU kira-kira 12 GB secara lalai. Model 8B berjalan dengan selesa dengan ruang untuk konteks. Lihat LLM terbaik untuk Mac 16 GB.

Berapa VRAM yang diperlukan model 8B?

Kira-kira 4.5 GB pada 4-bit, 8.5 GB pada 8-bit dan 16 GB pada 16-bit, serta kira-kira 1.2 GB untuk konteks 8,000 token dalam kes Qwen3 8B.

Adakah panjang konteks menggunakan memori?

Ya. KV cache membesar dengan setiap token dalam perbualan. Untuk Qwen3 8B ia kira-kira 147 KB bagi setiap token pada 16-bit: kira-kira 4.8 GB pada 32,000 token.

Bolehkah saya menjalankan model yang lebih besar daripada RAM saya?

Tidak secara berguna. Jika pemberat tidak muat, sistem akan swap atau membaca daripada memori yang lebih perlahan, dan output menjadi sangat perlahan. Gunakan kepersisan yang lebih rendah, model yang lebih kecil atau model mixture-of-experts, atau agihkannya ke beberapa mesin: lihat kluster AI Mac.