Speicher bei jeder Genauigkeit
| Version | Gewichte | Mit Kontext | Kleinster Mac |
|---|---|---|---|
| 8 Bit | 4,2 GB | 5,7 GB | 8 GB |
| 6 Bit | 3,2 GB | 4,7 GB | 8 GB |
| 4 Bit | 2,2 GB | 3,7 GB | 8 GB |
| 3 Bit geringere Qualität | 1,7 GB | 3,2 GB | 8 GB |
| 2 Bit geringere Qualität | 1,2 GB | 2,7 GB | 8 GB |
Auf jedem Apple-Chip
Die kleinste Speichergröße jedes Chips, mit der Nemotron-Labs Dory 1.0 4B läuft, die beste Version, die hineinpasst, und das Schreibtempo, das du erwarten kannst.
| Chip | Braucht | Version | Tokens/s |
|---|---|---|---|
| M6 | 16 GB | 8 Bit Läuft gut | 11–20 |
| M5 Ultra | 96 GB | 8 Bit Läuft gut | 87–155 |
| M5 Max | 36 GB | 8 Bit Läuft gut | 33–59 |
| M5 Pro | 24 GB | 8 Bit Läuft gut | 22–40 |
| M5 | 16 GB | 8 Bit Läuft gut | 11–20 |
| M4 Max | 36 GB | 8 Bit Läuft gut | 30–53 |
| M4 Pro | 24 GB | 8 Bit Läuft gut | 20–35 |
| M4 | 16 GB | 6 Bit Läuft gut | 11–20 |
| M3 Ultra | 96 GB | 8 Bit Läuft gut | 59–106 |
| M3 Max | 36 GB | 8 Bit Läuft gut | 22–39 |
| M3 Pro | 18 GB | 8 Bit Läuft gut | 11–19 |
| M3 | 8 GB | 6 Bit Läuft gut | 10–17 |
| M2 Ultra | 64 GB | 8 Bit Läuft gut | 58–103 |
| M2 Max | 32 GB | 8 Bit Läuft gut | 29–52 |
| M2 Pro | 16 GB | 8 Bit Läuft gut | 15–26 |
| M2 | 8 GB | 6 Bit Läuft gut | 10–17 |
| M1 Ultra | 64 GB | 8 Bit Läuft gut | 58–103 |
| M1 Max | 32 GB | 8 Bit Läuft gut | 29–52 |
| M1 Pro | 16 GB | 8 Bit Läuft gut | 15–26 |
| M1 | 8 GB | 8 Bit Langsam | 5–9 |
Von anderen gemessen
Generierungstempo von Nemotron-Labs Dory 1.0 4B, das andere auf ihren eigenen Macs gemessen und öffentlich gepostet haben. Das sind Messungen Dritter, nicht unsere, und nicht die Schätzungen oben.
| Mac | Laufzeit | Genauigkeit | Decode tok/s | Quelle |
|---|---|---|---|---|
| MacBook Pro M5 Max 128 GB | dory-mlx | 8-bit (MLX) | 69 | NetProjects @netprojects |
| MacBook Pro M5 Max 128 GB | dory-mlx | 8-bit (MLX) | 54bei 32K Kontext | NetProjects @netprojects |
Die Ergebnisse hängen von Laufzeitumgebung und Einstellungen ab: Version, Genauigkeit, Kontextlänge, Prompt und Reasoning an oder aus ändern das Tempo.
So führst du es aus
Schritt für Schritt: LLMs auf den Mac laden und ausführen · MLX vs. Ollama vs. llama.cpp
Lieber eine App als das Terminal? Vergleiche die Mac-Apps für lokale Modelle im AI App Store: Preis, Lizenz und wohin deine Daten gehen.
Über Nemotron-Labs Dory 1.0 4B
| Von | NVIDIA |
|---|---|
| Parameter | 3,98B (Dense-Modell) |
| Kontext | 256K Tokens |
| Lizenz | OpenMDW-1.1 |
| Veröffentlicht | 2026-10 |
| Eingabe | Text |
| Gewichte | nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 |
Fragen
- Wie viel Speicher braucht Nemotron-Labs Dory 1.0 4B?
- Etwa 2,2 GB für die Gewichte mit 4 Bit, plus Platz für den Kontext: insgesamt 3,7 GB. Auf einem Mac heißt das 8 GB gemeinsamer Arbeitsspeicher oder mehr, denn macOS lässt die GPU standardmäßig etwa 75 % davon nutzen.
- Wie schnell ist Nemotron-Labs Dory 1.0 4B auf einem Mac?
- Das Schreibtempo hängt von der Speicherbandbreite ab. Der schnellste Mac dafür ist hier einer mit M5 Ultra und 96 GB, mit etwa 87–155 Tokens pro Sekunde (8 Bit). Der kleinste Mac, der es ausführt, schafft mit 8 GB etwa 10–17 auf dem M3.
- Schadet Quantisierung Nemotron-Labs Dory 1.0 4B?
- Mit 4 Bit bleiben die meisten Modelle nah an der Originalqualität; unter 4 Bit sinkt die Qualität schneller. Nimm die höchste Genauigkeit, die mit Reserve auf deinen Mac passt.
Ähnliche Modelle
Für deine Model Card oder README
Zeigt den kleinsten Mac, der Nemotron-Labs Dory 1.0 4B gut ausführt, und verlinkt hierher.
[](https://mlx.app/run/nemotron-labs-dory-1.0-4b)So wird gerechnet
Speicher: die Parameter des Modells mit 8, 6, 4, 3 oder 2 Bit pro Gewicht plus die Gruppenskalen von MLX (ein halbes Bit pro Gewicht) oder in seinem nativen Format, dazu Platz für den Kontext. Standardmäßig lässt macOS die GPU etwa 75 % des gemeinsamen Arbeitsspeichers nutzen. Tempo: Speicherbandbreite geteilt durch die pro Token gelesenen Bytes ergibt die Obergrenze für eine Unterhaltung; in den öffentlichen Apple Silicon Benchmarks von llama.cpp erreichen echte Läufe etwa 45 % bis 80 % davon, und diese Spanne zeigen wir. Das sind Schätzungen, keine Messungen: Miss deinen eigenen Mac mit MLX Bench. Modellwerte aus der jeweiligen offiziellen Model Card, Chipwerte aus Apples technischen Daten. Geprüft am 2026-10-19. Dieselben Daten wie auf mlx.app/compare.
Offene Daten: mlx.app/data (JSON, CSV)