Hoeveel geheugen heeft Nemotron 3.5 Bolt 74B A9B nodig?

Ongeveer 41,6 GB aan gewichten op 4 bits, plus ruimte voor de context: 44,9 GB in totaal. Op een Mac betekent dat 64 GB geïntegreerd geheugen of meer, omdat macOS de GPU standaard ongeveer 75% ervan laat gebruiken.

Hoe snel is Nemotron 3.5 Bolt 74B A9B op een Mac?

De schrijfsnelheid hangt af van de geheugenbandbreedte. De snelste Mac hiervoor is een M5 Ultra met 96 GB, met ongeveer 74–132 tokens per seconde (6 bits). De kleinste Mac die het draait, met 64 GB, haalt ongeveer 71–125 op een M2 Ultra.

Waarom draait Nemotron 3.5 Bolt 74B A9B sneller dan je op basis van de grootte zou verwachten?

Het is een mixture-of-expertsmodel: het houdt 74B parameters in het geheugen, maar leest per token maar 9B, dus het schrijft zo snel als een veel kleiner model.

Draait Nemotron 3.5 Bolt 74B A9B op een Mac? Geheugen, snelheid

Geheugen bij elke precisie

Versie	Gewichten	Met context	Kleinste Mac
8 bits	78,6 GB	84,9 GB	128 GB
6 bits	60,1 GB	64,9 GB	96 GB
4 bits	41,6 GB	44,9 GB	64 GB
3 bits lagere kwaliteit	32,4 GB	35 GB	48 GB
2 bits lagere kwaliteit	23,1 GB	24,9 GB	36 GB

Op elke Apple-chip

Per chip de kleinste geheugengrootte die Nemotron 3.5 Bolt 74B A9B draait, de beste versie die erin past en de schrijfsnelheid die je kunt verwachten.

Chip	Nodig	Versie	Tokens/s
M6	32 GB	2 bits Net aan	27–49
M5 Ultra	96 GB	6 bits Draait goed	74–132
M5 Max	64 GB	4 bits Draait goed	54–96
M5 Pro	64 GB	4 bits Draait goed	27–48
M5	32 GB	2 bits Net aan	25–44
M4 Max	64 GB	4 bits Draait goed	48–86
M4 Pro	64 GB	4 bits Draait goed	24–43
M4	32 GB	2 bits Net aan	19–34
M3 Ultra	96 GB	6 bits Draait goed	50–90
M3 Max	64 GB	4 bits Draait goed	35–63
M3 Pro	36 GB	2 bits Draait goed	24–43
M3	geen grootte past	Te groot	–
M2 Ultra	64 GB	4 bits Draait goed	71–125
M2 Max	64 GB	4 bits Draait goed	35–63
M2 Pro	32 GB	2 bits Net aan	32–57
M2	geen grootte past	Te groot	–
M1 Ultra	64 GB	4 bits Draait goed	71–125
M1 Max	64 GB	4 bits Draait goed	35–63
M1 Pro	32 GB	2 bits Net aan	32–57
M1	geen grootte past	Te groot	–

Zo draai je het

De makkelijke manier: download MLX Harness, gratis en open source. Zoek Nemotron 3.5 Bolt 74B A9B, download de versie die bij je Mac past en begin te chatten. MLX Harness stelt het model ook beschikbaar aan je andere apps via een OpenAI-compatibele API.Download MLX HarnessGratis · Apple Silicon · macOS 14.5 of nieuwer
In Terminal, met Apples MLX: Er is nog geen MLX-build uit de community, dus maak er zelf een van de officiële gewichten:pip install mlx-lmmlx_lm.convert --hf-path nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 -q

Stap voor stap: LLM's downloaden en draaien op een Mac · zo gebruik je MLX Harness · MLX vs Ollama vs llama.cpp

Over Nemotron 3.5 Bolt 74B A9B

Gemaakt door	NVIDIA
Parameters	74B totaal · 9B actief (mixture-of-experts)
Context	256K tokens
Licentie	OpenMDW-1.1
Uitgebracht	2026-10
Invoer	Tekst en afbeeldingen
Intelligentie	21,4 op de Artificial Analysis Intelligence Index
Gewichten	nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16

Vragen

Hoeveel geheugen heeft Nemotron 3.5 Bolt 74B A9B nodig?: Ongeveer 41,6 GB aan gewichten op 4 bits, plus ruimte voor de context: 44,9 GB in totaal. Op een Mac betekent dat 64 GB geïntegreerd geheugen of meer, omdat macOS de GPU standaard ongeveer 75% ervan laat gebruiken.
Hoe snel is Nemotron 3.5 Bolt 74B A9B op een Mac?: De schrijfsnelheid hangt af van de geheugenbandbreedte. De snelste Mac hiervoor is een M5 Ultra met 96 GB, met ongeveer 74–132 tokens per seconde (6 bits). De kleinste Mac die het draait, met 64 GB, haalt ongeveer 71–125 op een M2 Ultra.
Waarom draait Nemotron 3.5 Bolt 74B A9B sneller dan je op basis van de grootte zou verwachten?: Het is een mixture-of-expertsmodel: het houdt 74B parameters in het geheugen, maar leest per token maar 9B, dus het schrijft zo snel als een veel kleiner model.

Vergelijkbare modellen

Alle modellen · Alle Macs · Vergelijk je Mac

Voor je modelkaart of README

Toont de kleinste Mac die Nemotron 3.5 Bolt 74B A9B goed draait en linkt naar deze pagina.

[![Runs on a Mac](https://mlx.app/badge/run/nemotron-3.5-bolt-74b-a9b.svg)](https://mlx.app/run/nemotron-3.5-bolt-74b-a9b)

Zo is het berekend

Geheugen: de parameters van het model op 8, 6, 4, 3 of 2 bits per gewicht plus de groepsschalen van MLX (een halve bit per gewicht), of het eigen formaat van het model, met daarbovenop ruimte voor de context. Standaard laat macOS de GPU ongeveer 75% van het geïntegreerde geheugen gebruiken. Snelheid: de geheugenbandbreedte gedeeld door het aantal bytes dat per token wordt gelezen, is het plafond voor één gesprek; in de openbare Apple Silicon-benchmarks van llama.cpp halen echte runs ongeveer 45% tot 80% daarvan, en dat is het bereik dat we tonen. Dit zijn schattingen, geen metingen: meet je eigen Mac op MLX Bench. Modelgegevens uit elke officiële modelkaart, chipgegevens uit de technische specificaties van Apple. Gecontroleerd op 2026-10-19. Dezelfde gegevens als mlx.app/compare.