Speicher bei jeder Genauigkeit
| Version | Gewichte | Mit Kontext | Kleinster Mac |
|---|---|---|---|
| 8 Bit | 128 GB | 138 GB | 192 GB |
| 6 Bit | 97,5 GB | 105 GB | 192 GB |
| 4 Bit | 67,5 GB | 72,9 GB | 128 GB |
| 3 Bit geringere Qualität | 52,5 GB | 56,7 GB | 96 GB |
| 2 Bit geringere Qualität | 37,5 GB | 40,5 GB | 64 GB |
Auf jedem Apple-Chip
Die kleinste Speichergröße jedes Chips, mit der Nemotron 3.5 Super VL 120B A12B läuft, die beste Version, die hineinpasst, und das Schreibtempo, das du erwarten kannst.
| Chip | Braucht | Version | Tokens/s |
|---|---|---|---|
| M6 | keine Größe passt | Zu groß | – |
| M5 Ultra | 256 GB | 8 Bit Läuft gut | 42–75 |
| M5 Max | 128 GB | 4 Bit Läuft gut | 41–72 |
| M5 Pro | 64 GB | 2 Bit Läuft gut | 36–65 |
| M5 | keine Größe passt | Zu groß | – |
| M4 Max | 128 GB | 4 Bit Läuft gut | 36–64 |
| M4 Pro | 64 GB | 2 Bit Läuft gut | 32–57 |
| M4 | keine Größe passt | Zu groß | – |
| M3 Ultra | 256 GB | 8 Bit Läuft gut | 29–51 |
| M3 Max | 128 GB | 4 Bit Läuft gut | 26–47 |
| M3 Pro | keine Größe passt | Zu groß | – |
| M3 | keine Größe passt | Zu groß | – |
| M2 Ultra | 128 GB | 4 Bit Läuft gut | 53–94 |
| M2 Max | 64 GB | 2 Bit Läuft gut | 47–84 |
| M2 Pro | keine Größe passt | Zu groß | – |
| M2 | keine Größe passt | Zu groß | – |
| M1 Ultra | 128 GB | 4 Bit Läuft gut | 53–94 |
| M1 Max | 64 GB | 2 Bit Läuft gut | 47–84 |
| M1 Pro | keine Größe passt | Zu groß | – |
| M1 | keine Größe passt | Zu groß | – |
So führst du es aus
Schritt für Schritt: LLMs auf den Mac laden und ausführen · MLX vs. Ollama vs. llama.cpp
Lieber eine App als das Terminal? Vergleiche die Mac-Apps für lokale Modelle im AI App Store: Preis, Lizenz und wohin deine Daten gehen.
Über Nemotron 3.5 Super VL 120B A12B
| Von | NVIDIA |
|---|---|
| Parameter | 120B gesamt · 12B aktiv (Mixture of Experts) |
| Kontext | 1M Tokens |
| Lizenz | OpenMDW-1.1 |
| Veröffentlicht | 2026-10 |
| Eingabe | Text und Bilder |
| Intelligenz | 26,5 im Artificial Analysis Intelligence Index |
| Gewichte | nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16 |
Fragen
- Wie viel Speicher braucht Nemotron 3.5 Super VL 120B A12B?
- Etwa 67,5 GB für die Gewichte mit 4 Bit, plus Platz für den Kontext: insgesamt 72,9 GB. Auf einem Mac heißt das 128 GB gemeinsamer Arbeitsspeicher oder mehr, denn macOS lässt die GPU standardmäßig etwa 75 % davon nutzen.
- Wie schnell ist Nemotron 3.5 Super VL 120B A12B auf einem Mac?
- Das Schreibtempo hängt von der Speicherbandbreite ab. Der schnellste Mac dafür ist hier einer mit M2 Ultra und 128 GB, mit etwa 53–94 Tokens pro Sekunde (4 Bit). Der kleinste Mac, der es ausführt, schafft mit 128 GB etwa 53–94 auf dem M2 Ultra.
- Warum läuft Nemotron 3.5 Super VL 120B A12B schneller, als seine Größe vermuten lässt?
- Es ist ein Mixture-of-Experts-Modell: Es hält 120B Parameter im Speicher, liest pro Token aber nur 12B. Darum schreibt es so schnell wie ein viel kleineres Modell.
Ähnliche Modelle
Für deine Model Card oder README
Zeigt den kleinsten Mac, der Nemotron 3.5 Super VL 120B A12B gut ausführt, und verlinkt hierher.
[](https://mlx.app/run/nemotron-3.5-super-vl-120b-a12b)So wird gerechnet
Speicher: die Parameter des Modells mit 8, 6, 4, 3 oder 2 Bit pro Gewicht plus die Gruppenskalen von MLX (ein halbes Bit pro Gewicht) oder in seinem nativen Format, dazu Platz für den Kontext. Standardmäßig lässt macOS die GPU etwa 75 % des gemeinsamen Arbeitsspeichers nutzen. Tempo: Speicherbandbreite geteilt durch die pro Token gelesenen Bytes ergibt die Obergrenze für eine Unterhaltung; in den öffentlichen Apple Silicon Benchmarks von llama.cpp erreichen echte Läufe etwa 45 % bis 80 % davon, und diese Spanne zeigen wir. Das sind Schätzungen, keine Messungen: Miss deinen eigenen Mac mit MLX Bench. Modellwerte aus der jeweiligen offiziellen Model Card, Chipwerte aus Apples technischen Daten. Geprüft am 2026-10-19. Dieselben Daten wie auf mlx.app/compare.
Offene Daten: mlx.app/data (JSON, CSV)