Kısaca
- Ağırlıklar: parametre × ağırlık başına bit ÷ 8. MLX'in 4 bit biçiminde bu milyar parametre başına yaklaşık 0,56 GB eder; 8 bitte yaklaşık 1,06 GB, 16 bitte 2 GB.
- Yani bağlamdan önce, 4 bitte bir 8B model yaklaşık 4,5 GB, bir 32B model yaklaşık 18 GB, bir 70B model ise yaklaşık 39 GB ister.
- Bağlam (KV cache) bunun üzerine gelir ve her token'la büyür: Qwen3 8B için 32.000 token'lık bir bağlam yaklaşık 4,8 GB tutar; bu, modelin 4 bitlik ağırlıklarından fazladır.
- Mac'te GPU varsayılan olarak birleşik belleğin yaklaşık %75'ini kullanabilir; yani 16 GB'lık bir Mac'te model için yaklaşık 12 GB vardır. PC'de ise modelin tam hızda çalışması için ekran kartının kendi VRAM'ine sığması gerekir.
1Kural: parametre × bit
Bir model büyük ölçüde ağırlıklarından ibarettir: her parametre için bir sayı. 16 bitte saklandığında her biri 2 bayt tutar; yani bir model milyar parametre başına 2 GB ister. Nicemleme her ağırlığı daha az bitte saklar ve modeli neredeyse aynı oranda küçültür; 4 bitte çoğu model özgün kalitesine yakın kalır.
Nicemlenmiş biçimler ağırlıkları yeniden oluşturmak için biraz ek veri de saklar. Apple'ın MLX'i varsayılan olarak her 64 ağırlıklık grup için modelin kendi 16 bitlik türünde bir ölçek ve bir sapma tutar (MLX); bu, ağırlık başına yarım bit ekler. Ortaya şu boyutlar çıkar:
| Hassasiyet | Ağırlık başına bit | Milyar parametre başına GB |
|---|---|---|
| 16 bit (özgün) | 16 | 2,0 |
| 8 bit | 8,5 | yaklaşık 1,06 |
| 6 bit | 6,5 | yaklaşık 0,81 |
| 4 bit | 4,5 | yaklaşık 0,56 |
| 3 bit | 3,5 | yaklaşık 0,44 |
| 2 bit | 2,5 | yaklaşık 0,31 |
4 bitin altında kalite daha hızlı düşer. İyi bir varsayılan: pay bırakarak sığan en yüksek hassasiyet.
2Yaygın model boyutları için bellek
| Model boyutu | 16 bit | 8 bit | 4 bit | 3 bit |
|---|---|---|---|---|
| 1B | 2 GB | 1,1 GB | 0,6 GB | 0,4 GB |
| 3B | 6 GB | 3,2 GB | 1,7 GB | 1,3 GB |
| 8B | 16 GB | 8,5 GB | 4,5 GB | 3,5 GB |
| 14B | 28 GB | 14,9 GB | 7,9 GB | 6,1 GB |
| 32B | 64 GB | 34 GB | 18 GB | 14 GB |
| 70B | 140 GB | 74,4 GB | 39,4 GB | 30,6 GB |
| 120B | 240 GB | 127,5 GB | 67,5 GB | 52,5 GB |
| 235B | 470 GB | 249,7 GB | 132,2 GB | 102,8 GB |
| 405B | 810 GB | 430,3 GB | 227,8 GB | 177,2 GB |
| 671B | 1.342 GB | 712,9 GB | 377,4 GB | 293,6 GB |
Bazı modeller kendi düşük hassasiyetleriyle yayımlanır. OpenAI'ın gpt-oss-120b modelinin 117 milyar parametresi vardır ve uzmanlar karışımı ağırlıklarını 4 bitlik bir biçim olan MXFP4'te tutar; bu sayede tek bir 80 GB'lık GPU'ya sığar (OpenAI). Belirli bir model için sayfasını açın: her açık model ve gereken Mac, örneğin gpt-oss-120b veya Llama 3.3 70B.
3Bağlam da bellek ister
Bir model okurken ve yazarken, konuşmanın her token'ı için her katmanda bir anahtar ve bir değer tutar: KV cache. Boyutu 2 × katman × KV başlığı × başlık boyutu × değer başına bayt × token'dır.
Örneğin Qwen3 8B'nin 36 katmanı, 8 KV başlığı ve 128'lik başlık boyutu vardır; 16 bitte saklanır (config). Bu, token başına 147.456 bayt eder:
| Bağlam | Qwen3 8B için KV cache (16 bit) |
|---|---|
| 8.192 token | yaklaşık 1,2 GB |
| 32.768 token | yaklaşık 4,8 GB |
| 40.960 token (tam bağlamı) | yaklaşık 6,0 GB |
Bunun gibi gruplanmış sorgu dikkatine (grouped-query attention) sahip modeller, dikkat başlığından daha az KV başlığı tutar (32'ye karşı 8); bu, önbelleği zaten dörtte birine indirir. Önbelleği nicemleyerek daha fazla tasarruf edebilirsiniz: mlx-lm'in sunucusu --kv-bits 4 seçeneğini alır (mlx-lm). Sohbet için birkaç bin token'lık bağlam fazlasıyla yeter; ajanlar, uzun belgeler veya kod için birkaç gigabayt ayırın.
4Bir Mac'e ne büyüklükte model sığar
Bir Mac'in belleği işlemci ve GPU tarafından paylaşılır ve macOS varsayılan olarak GPU'nun bunun yalnızca bir kısmını kullanmasına izin verir. Karşılaştırma sayfamız yaklaşık %75 hesaplar; mlx-lm'in README dosyası, macOS 15 veya sonrasında bu sınırın sudo sysctl iogpu.wired_limit_mb=N ile nasıl yükseltileceğini gösterir (mlx-lm), ancak macOS ve diğer uygulamalarınızın da yere ihtiyacı vardır.
| Mac belleği | GPU için (yaklaşık %75) | 4 bitte en büyük model | 8 bitte en büyük |
|---|---|---|---|
| 8 GB | 6 GB | yaklaşık 10B | yaklaşık 5B |
| 16 GB | 12 GB | yaklaşık 21B | yaklaşık 11B |
| 24 GB | 18 GB | yaklaşık 32B | yaklaşık 16B |
| 32 GB | 24 GB | yaklaşık 42B | yaklaşık 22B |
| 36 GB | 27 GB | yaklaşık 48B | yaklaşık 25B |
| 48 GB | 36 GB | yaklaşık 64B | yaklaşık 33B |
| 64 GB | 48 GB | yaklaşık 85B | yaklaşık 45B |
| 96 GB | 72 GB | yaklaşık 128B | yaklaşık 67B |
| 128 GB | 96 GB | yaklaşık 170B | yaklaşık 90B |
| 256 GB | 192 GB | yaklaşık 341B | yaklaşık 180B |
| 512 GB | 384 GB | yaklaşık 682B | yaklaşık 361B |
Neyin sığacağına bellek, ne kadar hızlı yazacağına bellek bant genişliği karar verir. İkinci yarıyı yerel LLM için en iyi Mac rehberi açıklar; sıralanmış tüm Mac'ler ikisini bir araya getirir.
5RAM, VRAM ve birleşik bellek
Ekran kartlı bir PC'de model ancak kartın kendi belleğine, yani VRAM'ine sığarsa tam hızda çalışır: RTX 5090'da bu 32 GB'tır (NVIDIA). Sığmayan katmanlar PC'nin sistem RAM'inden çalışabilir, ancak bu belleği okumak çok daha yavaştır ve model ciddi biçimde yavaşlar.
Mac'te ayrı bir VRAM yoktur: GPU, işlemciyle aynı birleşik belleği okur. Bu yüzden 64 GB veya 128 GB'lık bir Mac, hiçbir tüketici ekran kartının tek başına taşıyamayacağı modelleri barındırabilir. Artık birkaç PC de aynı şekilde çalışıyor; örneğin NVIDIA'nın DGX Spark'ı ve işlemci ile GPU arasında paylaşılan 128 GB belleğe sahip AMD Ryzen AI Max makineleri: M5 Max vs DGX Spark ve M5 Max vs RTX 5090 sayfalarına bakın.
6Uzmanlar karışımı (MoE) modeller
Uzmanlar karışımı (mixture-of-experts) bir model tüm parametrelerini bellekte tutar ama her token için bunların yalnızca birkaçını kullanır. Bellek toplamı, hız etkin kısmı izler. gpt-oss-20b'nin 3,6 milyarı etkin olmak üzere 21 milyar parametresi vardır (OpenAI): 21B bir model kadar bellek ister ve yaklaşık 4B bir model kadar hızlı yazar.
Bu da uzmanlar karışımı modelleri, ekran kartlarına kıyasla bant genişliğinden çok belleği olan Mac'ler için iyi bir seçim yapar. Karşılaştırma, her popüler model için iki sayıyı da gösterir.
7Sorular
- 70B bir modeli çalıştırmak için ne kadar RAM gerekir?
- 4 bitte ağırlıklar için yaklaşık 39 GB, artı bağlam: pratikte 64 GB veya daha fazla belleği olan bir Mac ya da birkaç ekran kartı. 8 bitte yaklaşık 74 GB gerekir, yani 128 GB.
- LLM çalıştırmak için 16 GB RAM yeterli mi?
- 4 bitte yaklaşık 14B parametreye kadar modeller için evet: 16 GB'lık bir Mac, GPU'ya varsayılan olarak yaklaşık 12 GB verir. 8B modeller bağlama da yer bırakarak rahatça çalışır. 16 GB'lık Mac için en iyi LLM'lere bakın.
- 8B bir model ne kadar VRAM ister?
- 4 bitte yaklaşık 4,5 GB, 8 bitte 8,5 GB, 16 bitte 16 GB; Qwen3 8B örneğinde buna 8.000 token'lık bir bağlam için yaklaşık 1,2 GB eklenir.
- Bağlam uzunluğu bellek kullanır mı?
- Evet. KV cache konuşmadaki her token'la büyür. Qwen3 8B için 16 bitte token başına yaklaşık 147 KB'tır: 32.000 token'da yaklaşık 4,8 GB.
- RAM'imden büyük bir modeli çalıştırabilir miyim?
- İşe yarar biçimde hayır. Ağırlıklar sığmazsa sistem takas belleğine geçer veya daha yavaş bellekten okur ve üretim sürünecek kadar yavaşlar. Daha düşük bir hassasiyet, daha küçük bir model ya da uzmanlar karışımı bir model kullanın veya modeli birkaç makineye dağıtın: Mac yapay zekâ kümeleri rehberine bakın.