Hoeveel geheugen heeft Nemotron 3.5 Lightning 30B A3B nodig?

Ongeveer 16,9 GB aan gewichten op 4 bits, plus ruimte voor de context: 18,4 GB in totaal. Op een Mac betekent dat 32 GB geïntegreerd geheugen of meer, omdat macOS de GPU standaard ongeveer 75% ervan laat gebruiken.

Hoe snel is Nemotron 3.5 Lightning 30B A3B op een Mac?

De schrijfsnelheid hangt af van de geheugenbandbreedte. De snelste Mac hiervoor is een M5 Ultra met 96 GB, met ongeveer 169–300 tokens per seconde (8 bits). De kleinste Mac die het draait, met 32 GB, haalt ongeveer 106–188 op een M2 Max.

Waarom draait Nemotron 3.5 Lightning 30B A3B sneller dan je op basis van de grootte zou verwachten?

Het is een mixture-of-expertsmodel: het houdt 30B parameters in het geheugen, maar leest per token maar 3B, dus het schrijft zo snel als een veel kleiner model.

Draait Nemotron 3.5 Lightning 30B A3B op een Mac? Geheugen, snelheid

Geheugen bij elke precisie

Versie	Gewichten	Met context	Kleinste Mac
8 bits	31,9 GB	34,5 GB	48 GB
6 bits	24,4 GB	26,4 GB	36 GB
4 bits	16,9 GB	18,4 GB	32 GB
3 bits lagere kwaliteit	13,1 GB	14,6 GB	24 GB
2 bits lagere kwaliteit	9,4 GB	10,9 GB	16 GB

Op elke Apple-chip

Per chip de kleinste geheugengrootte die Nemotron 3.5 Lightning 30B A3B draait, de beste versie die erin past en de schrijfsnelheid die je kunt verwachten.

Chip	Nodig	Versie	Tokens/s
M6	32 GB	4 bits Draait goed	45–80
M5 Ultra	96 GB	8 bits Draait goed	169–300
M5 Max	36 GB	6 bits Draait goed	86–153
M5 Pro	48 GB	8 bits Draait goed	43–77
M5	32 GB	4 bits Draait goed	41–72
M4 Max	36 GB	6 bits Draait goed	77–137
M4 Pro	48 GB	8 bits Draait goed	38–68
M4	32 GB	4 bits Draait goed	32–56
M3 Ultra	96 GB	8 bits Draait goed	115–205
M3 Max	36 GB	6 bits Draait goed	56–100
M3 Pro	36 GB	6 bits Draait goed	28–50
M3	16 GB	2 bits Draait goed	50–89
M2 Ultra	64 GB	8 bits Draait goed	113–200
M2 Max	32 GB	4 bits Draait goed	106–188
M2 Pro	32 GB	4 bits Draait goed	53–94
M2	16 GB	2 bits Draait goed	50–89
M1 Ultra	64 GB	8 bits Draait goed	113–200
M1 Max	32 GB	4 bits Draait goed	106–188
M1 Pro	32 GB	4 bits Draait goed	53–94
M1	16 GB	2 bits Draait goed	34–60

Zo draai je het

De makkelijke manier: download MLX Harness, gratis en open source. Zoek Nemotron 3.5 Lightning 30B A3B, download de versie die bij je Mac past en begin te chatten. MLX Harness stelt het model ook beschikbaar aan je andere apps via een OpenAI-compatibele API.Download MLX HarnessGratis · Apple Silicon · macOS 14.5 of nieuwer
In Terminal, met Apples MLX:pip install mlx-lmmlx_lm.chat --model mlx-community/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-4bitBuild: mlx-community/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-4bit op Hugging Face. Andere precisies staan ernaast.

Stap voor stap: LLM's downloaden en draaien op een Mac · zo gebruik je MLX Harness · MLX vs Ollama vs llama.cpp

Over Nemotron 3.5 Lightning 30B A3B

Gemaakt door	NVIDIA
Parameters	30B totaal · 3B actief (mixture-of-experts)
Context	256K tokens
Licentie	OpenMDW-1.1
Uitgebracht	2026-08
Invoer	Tekst
Intelligentie	12,9 op de Artificial Analysis Intelligence Index
Gewichten	nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16

Vragen

Hoeveel geheugen heeft Nemotron 3.5 Lightning 30B A3B nodig?: Ongeveer 16,9 GB aan gewichten op 4 bits, plus ruimte voor de context: 18,4 GB in totaal. Op een Mac betekent dat 32 GB geïntegreerd geheugen of meer, omdat macOS de GPU standaard ongeveer 75% ervan laat gebruiken.
Hoe snel is Nemotron 3.5 Lightning 30B A3B op een Mac?: De schrijfsnelheid hangt af van de geheugenbandbreedte. De snelste Mac hiervoor is een M5 Ultra met 96 GB, met ongeveer 169–300 tokens per seconde (8 bits). De kleinste Mac die het draait, met 32 GB, haalt ongeveer 106–188 op een M2 Max.
Waarom draait Nemotron 3.5 Lightning 30B A3B sneller dan je op basis van de grootte zou verwachten?: Het is een mixture-of-expertsmodel: het houdt 30B parameters in het geheugen, maar leest per token maar 3B, dus het schrijft zo snel als een veel kleiner model.

Vergelijkbare modellen

Alle modellen · Alle Macs · Vergelijk je Mac

Voor je modelkaart of README

Toont de kleinste Mac die Nemotron 3.5 Lightning 30B A3B goed draait en linkt naar deze pagina.

[![Runs on a Mac](https://mlx.app/badge/run/nemotron-3.5-lightning-30b-a3b.svg)](https://mlx.app/run/nemotron-3.5-lightning-30b-a3b)

Zo is het berekend

Geheugen: de parameters van het model op 8, 6, 4, 3 of 2 bits per gewicht plus de groepsschalen van MLX (een halve bit per gewicht), of het eigen formaat van het model, met daarbovenop ruimte voor de context. Standaard laat macOS de GPU ongeveer 75% van het geïntegreerde geheugen gebruiken. Snelheid: de geheugenbandbreedte gedeeld door het aantal bytes dat per token wordt gelezen, is het plafond voor één gesprek; in de openbare Apple Silicon-benchmarks van llama.cpp halen echte runs ongeveer 45% tot 80% daarvan, en dat is het bereik dat we tonen. Dit zijn schattingen, geen metingen: meet je eigen Mac op MLX Bench. Modelgegevens uit elke officiële modelkaart, chipgegevens uit de technische specificaties van Apple. Gecontroleerd op 2026-10-19. Dezelfde gegevens als mlx.app/compare.