Kurz gesagt
- Gewichte: Parameter × Bits pro Gewicht ÷ 8. Mit dem 4-Bit-Format von MLX sind das etwa 0,56 GB pro Milliarde Parameter; in 8 Bit etwa 1,06 GB, in 16 Bit 2 GB.
- Ein 8B-Modell braucht in 4 Bit also etwa 4,5 GB, ein 32B-Modell etwa 18 GB und ein 70B-Modell etwa 39 GB, noch ohne Kontext.
- Der Kontext (KV cache) kommt hinzu und wächst mit jedem Token: Bei Qwen3 8B belegt ein Kontext von 32.000 Tokens etwa 4,8 GB, mehr als seine Gewichte in 4 Bit.
- Auf einem Mac darf die GPU standardmäßig etwa 75 % des gemeinsamen Arbeitsspeichers nutzen, ein Mac mit 16 GB hat also etwa 12 GB für ein Modell. Auf einem PC muss das Modell in den eigenen VRAM der Grafikkarte passen, um mit vollem Tempo zu laufen.
1Die Regel: Parameter × Bits
Ein Modell besteht vor allem aus seinen Gewichten: eine Zahl pro Parameter. In 16 Bit gespeichert, belegt jede 2 Byte, ein Modell braucht also 2 GB pro Milliarde Parameter. Quantisierung speichert jedes Gewicht in weniger Bits, wodurch das Modell fast im selben Verhältnis schrumpft; in 4 Bit bleiben die meisten Modelle nah an ihrer ursprünglichen Qualität.
Quantisierte Formate speichern außerdem ein wenig zusätzlich, um die Gewichte wiederherzustellen. Apples MLX speichert standardmäßig für jede Gruppe von 64 Gewichten eine Skala und einen Bias im eigenen 16-Bit-Typ des Modells (MLX), was ein halbes Bit pro Gewicht hinzufügt. Daraus ergeben sich diese Größen:
| Genauigkeit | Bits pro Gewicht | GB pro Milliarde Parameter |
|---|---|---|
| 16 Bit (Original) | 16 | 2,0 |
| 8 Bit | 8,5 | etwa 1,06 |
| 6 Bit | 6,5 | etwa 0,81 |
| 4 Bit | 4,5 | etwa 0,56 |
| 3 Bit | 3,5 | etwa 0,44 |
| 2 Bit | 2,5 | etwa 0,31 |
Unter 4 Bit sinkt die Qualität schneller. Eine gute Wahl ist die höchste Genauigkeit, die mit Luft nach oben passt.
2Speicher für gängige Modellgrößen
| Modellgröße | 16 Bit | 8 Bit | 4 Bit | 3 Bit |
|---|---|---|---|---|
| 1B | 2 GB | 1,1 GB | 0,6 GB | 0,4 GB |
| 3B | 6 GB | 3,2 GB | 1,7 GB | 1,3 GB |
| 8B | 16 GB | 8,5 GB | 4,5 GB | 3,5 GB |
| 14B | 28 GB | 14,9 GB | 7,9 GB | 6,1 GB |
| 32B | 64 GB | 34 GB | 18 GB | 14 GB |
| 70B | 140 GB | 74,4 GB | 39,4 GB | 30,6 GB |
| 120B | 240 GB | 127,5 GB | 67,5 GB | 52,5 GB |
| 235B | 470 GB | 249,7 GB | 132,2 GB | 102,8 GB |
| 405B | 810 GB | 430,3 GB | 227,8 GB | 177,2 GB |
| 671B | 1.342 GB | 712,9 GB | 377,4 GB | 293,6 GB |
Manche Modelle erscheinen schon in einer eigenen niedrigen Genauigkeit. OpenAIs gpt-oss-120b hat 117 Milliarden Parameter und speichert seine Mixture-of-Experts-Gewichte in einem 4-Bit-Format, MXFP4, sodass es auf eine einzelne GPU mit 80 GB passt (OpenAI). Für ein bestimmtes Modell öffne seine Seite: jedes offene Modell und der Mac dafür, zum Beispiel gpt-oss-120b oder Llama 3.3 70B.
3Auch der Kontext braucht Speicher
Während ein Modell liest und schreibt, hält es in jeder Schicht für jeden Token der Unterhaltung einen Key und einen Value vor: den KV cache. Seine Größe ist 2 × Schichten × KV-Heads × Head-Größe × Bytes pro Wert × Tokens.
Qwen3 8B zum Beispiel hat 36 Schichten, 8 KV-Heads und eine Head-Größe von 128, gespeichert in 16 Bit (Config). Das sind 147.456 Byte pro Token:
| Kontext | KV cache für Qwen3 8B (16 Bit) |
|---|---|
| 8.192 Tokens | etwa 1,2 GB |
| 32.768 Tokens | etwa 4,8 GB |
| 40.960 Tokens (sein voller Kontext) | etwa 6,0 GB |
Modelle mit Grouped-Query Attention wie dieses halten weniger KV-Heads als Attention-Heads (8 statt 32), was den Cache schon auf ein Viertel verkleinert. Mehr sparst du, wenn du den Cache quantisierst: Der Server von mlx-lm nimmt --kv-bits 4 (mlx-lm). Für einen Chat reichen ein paar Tausend Tokens Kontext; für Agenten, lange Dokumente oder Code plane mehrere Gigabyte ein.
4Wie groß ein Modell auf einem Mac sein darf
Den Arbeitsspeicher eines Macs teilen sich CPU und GPU, und macOS lässt die GPU standardmäßig nur einen Teil davon nutzen. Unsere Seite Compare rechnet mit etwa 75 %; die README von mlx-lm zeigt, wie du die Grenze ab macOS 15 mit sudo sysctl iogpu.wired_limit_mb=N anhebst (mlx-lm), aber macOS und deine anderen Apps brauchen trotzdem Platz.
| Mac-Speicher | Für die GPU (etwa 75 %) | Größtes Modell in 4 Bit | Größtes in 8 Bit |
|---|---|---|---|
| 8 GB | 6 GB | etwa 10B | etwa 5B |
| 16 GB | 12 GB | etwa 21B | etwa 11B |
| 24 GB | 18 GB | etwa 32B | etwa 16B |
| 32 GB | 24 GB | etwa 42B | etwa 22B |
| 36 GB | 27 GB | etwa 48B | etwa 25B |
| 48 GB | 36 GB | etwa 64B | etwa 33B |
| 64 GB | 48 GB | etwa 85B | etwa 45B |
| 96 GB | 72 GB | etwa 128B | etwa 67B |
| 128 GB | 96 GB | etwa 170B | etwa 90B |
| 256 GB | 192 GB | etwa 341B | etwa 180B |
| 512 GB | 384 GB | etwa 682B | etwa 361B |
Der Speicher entscheidet, was passt; die Speicherbandbreite, wie schnell es schreibt. Der Ratgeber bester Mac für lokale LLMs erklärt die zweite Hälfte, und alle Macs im Ranking bringt beides zusammen.
5RAM, VRAM und gemeinsamer Arbeitsspeicher
Auf einem PC mit Grafikkarte läuft ein Modell nur dann mit vollem Tempo, wenn es in den eigenen Speicher der Karte passt, ihren VRAM: 32 GB bei einer RTX 5090 (NVIDIA). Schichten, die nicht hineinpassen, können stattdessen aus dem Systemspeicher des PCs laufen, doch der lässt sich viel langsamer lesen, und das Modell wird deutlich langsamer.
Ein Mac hat keinen separaten VRAM: Die GPU liest denselben gemeinsamen Arbeitsspeicher wie die CPU. Deshalb kann ein Mac mit 64 GB oder 128 GB Modelle fassen, die auf keine einzelne Consumer-Grafikkarte passen. Einige PCs funktionieren inzwischen genauso, etwa NVIDIAs DGX Spark und Rechner mit AMDs Ryzen AI Max, bei denen sich CPU und GPU 128 GB teilen: siehe M5 Max vs. DGX Spark und M5 Max vs. RTX 5090.
6Mixture-of-Experts-Modelle
Ein Mixture-of-Experts-Modell hält alle seine Parameter im Speicher, nutzt für jeden Token aber nur wenige davon. Der Speicher richtet sich nach der Gesamtzahl, das Tempo nach dem aktiven Teil. gpt-oss-20b hat 21 Milliarden Parameter, davon 3,6 Milliarden aktiv (OpenAI): Es braucht Speicher wie ein 21B-Modell und schreibt etwa so schnell wie ein 4B-Modell.
Damit passen Mixture-of-Experts-Modelle gut zu Macs, die im Vergleich zu Grafikkarten mehr Speicher als Bandbreite haben. Compare zeigt beide Zahlen für jedes populäre Modell.
7Fragen
- Wie viel RAM brauche ich für ein 70B-Modell?
- Etwa 39 GB für die Gewichte in 4 Bit, plus Kontext: In der Praxis ein Mac mit 64 GB oder mehr oder mehrere Grafikkarten. In 8 Bit braucht es etwa 74 GB, also 128 GB.
- Reichen 16 GB RAM für ein LLM?
- Ja, für Modelle bis etwa 14B Parameter in 4 Bit: Ein Mac mit 16 GB gibt der GPU standardmäßig etwa 12 GB. 8B-Modelle laufen bequem mit Platz für Kontext. Siehe die besten LLMs für einen Mac mit 16 GB.
- Wie viel VRAM braucht ein 8B-Modell?
- Etwa 4,5 GB in 4 Bit, 8,5 GB in 8 Bit und 16 GB in 16 Bit, plus etwa 1,2 GB für einen Kontext von 8.000 Tokens im Fall von Qwen3 8B.
- Braucht die Kontextlänge Speicher?
- Ja. Der KV cache wächst mit jedem Token der Unterhaltung. Bei Qwen3 8B sind es in 16 Bit etwa 147 KB pro Token: etwa 4,8 GB bei 32.000 Tokens.
- Kann ich ein Modell ausführen, das größer ist als mein RAM?
- Nicht sinnvoll. Passen die Gewichte nicht hinein, lagert das System aus oder liest aus langsamerem Speicher, und die Ausgabe wird quälend langsam. Nimm eine niedrigere Genauigkeit, ein kleineres Modell oder ein Mixture-of-Experts-Modell, oder verteile es auf mehrere Rechner: siehe Mac-KI-Cluster.