Wat is het beste LLM voor een Mac met 256 GB?

Van de modellen met een gepubliceerde Intelligence Index scoort Qwen3.8 Flash Next het hoogst van de modellen die goed draaien in 256 GB (6 bits). Het grootste dat goed draait, is MiMo V2.6 Flash. Voor code: Qwen3 Coder Next.

Is 256 GB genoeg voor lokale AI op een Mac?

54 van de 73 open modellen op deze lijst draaien er goed in, op 4 bits of beter. macOS laat de GPU standaard ongeveer 192 GB ervan gebruiken; het model en de context moeten daarin passen.

Kan een Mac met 256 GB gpt-oss-20b draaien?

Ja, 4,25 bits native, met ongeveer 194–345 tokens per seconde op een M3 Ultra en 284–505 op een M5 Ultra.

Beste lokale LLM's voor een 256 GB-Mac (M3 tot M5): wat draait

Macs met 256 GB

2 chips van M3 tot M5 zijn er met 256 GB. Open er een voor de eigen lijst en snelheden.

Draait goed 61

Past met ruimte voor de context, op 10 of meer tokens per seconde op de M5 Ultra.

Model	Versie	Geheugen	M3 Ultra	M5 Ultra
Qwen3.8 Flash Next180B · 6B actief · Intelligentie 39,8	6 bits	146 GB	75–134	110–196
MiMo V2.6 Flash309B · 15B actief · Intelligentie 37,9	4,48 bits native	173 GB	44–78	64–114
Qwen3.8 27B27B · Intelligentie 33,7	8 bits	28,7 GB	13–23	19–33
Inkling Small276B · 12B actief · Intelligentie 25,7	4 bits	155 GB	54–96	79–141
Hy3295B · 21B actief · Intelligentie 25,3	4 bits	166 GB	31–56	46–81
Nemotron 3.5 Bolt 74B A9B74B · 9B actief · Intelligentie 21,4	8 bits	78,6 GB	38–68	56–100
Qwen3.6 35B A3B35B · 3B actief · Intelligentie 18,2	8 bits	37,2 GB	115–205	169–300
Muse Glimmer 30B29,6B · Intelligentie 17,5	8 bits	31,5 GB	12–21	17–30
Qwen3.5 122B A10B122B · 10B actief · Intelligentie 15,6	8 bits	130 GB	35–62	51–91
Gemma 4 31B30,7B · Intelligentie 14,7	8 bits	32,6 GB	11–20	17–29
Nemotron 3.5 Lightning 30B A3B30B · 3B actief · Intelligentie 12,9	8 bits	31,9 GB	115–205	169–300
Granite 4.2 30B30B · Intelligentie 12,7	8 bits	31,9 GB	12–21	17–30
MiniCPM5 2B2,52B · Intelligentie 12,5	8 bits	2,7 GB	137–243	200–356
gpt-oss-120b117B · 5,1B actief · Intelligentie 11,6	4,25 bits native	65,3 GB	137–243	200–356
Mistral Small 4 (119B)119B · 6,5B actief · Intelligentie 11,3	8 bits	126 GB	53–95	78–139
Qwen3.5 9B9B · Intelligentie 11,2	8 bits	9,6 GB	38–68	56–100
Granite 4.2 8B8B · Intelligentie 11,1	8 bits	8,5 GB	43–77	64–113
Qwen3 Coder Next80B · 3B actief · Intelligentie 9,2	8 bits	85 GB	115–205	169–300
Granite 4.2 3B3B · Intelligentie 9,1	8 bits	3,2 GB	115–205	169–300
gpt-oss-20b21B · 3,6B actief · Intelligentie 9	4,25 bits native	13,8 GB	194–345	284–505
Nemotron 3 Nano 30B A3B30B · 3,5B actief · Intelligentie 8,9	8 bits	31,9 GB	100–177	146–259
Gemma 4 E4B8B · Intelligentie 8,9	8 bits	8,5 GB	77–137	113–200
Llama 4 Scout 17B-16E Instruct109B · 17B actief · Intelligentie 6,5	8 bits	116 GB	20–36	30–53
Ministral 3 8B8,9B · Intelligentie 5,5	8 bits	9,5 GB	39–69	57–101
Nemotron 3 Nano 4B3,97B · Intelligentie 4,8	8 bits	4,2 GB	88–156	129–229
DeepSeek V4 Flash 0731284B · 13B actief	4 bits	160 GB	50–90	74–132
MiniMax M2.7230B · 10B actief	4 bits	129 GB	66–117	96–171
Ornith 1.5 122B122B · 10B actief	8 bits	130 GB	35–62	51–91
Nemotron 3 Super 120B A12B120B · 12B actief	8 bits	128 GB	29–51	42–75
GLM-4.5 Air106B · 12B actief	8 bits	113 GB	29–51	42–75
Llama 3.3 70B Instruct70B	4 bits	39,4 GB	5–9	14–24
Qwen3 Coder 30B A3B Instruct30,5B · 3,3B actief	8 bits	32,4 GB	105–187	154–274
GLM-4.7 Flash30B · 3B actief	8 bits	31,9 GB	115–205	169–300
Qwen3.6 27B27B	8 bits	28,7 GB	13–23	19–33
Gemma 4 26B A4B25,2B · 3,8B actief	8 bits	26,8 GB	92–164	135–240
Devstral Small 2 (24B)24B	8 bits	25,5 GB	14–26	21–38
Magistral Small 1.2 (2509)24B	8 bits	25,5 GB	14–26	21–38
Mistral Small 3.2 (24B)24B	8 bits	25,5 GB	14–26	21–38
LFM2.5 24B A2B24B · 2B actief	8 bits	25,5 GB	176–312	257–457
Phi-4 Reasoning Vision 15B15B	8 bits	15,9 GB	23–41	34–60
Phi-4 (14B)14B	8 bits	14,9 GB	25–44	36–64
Gemma 4 12B Unified12B	8 bits	12,7 GB	29–52	43–76
Qwen3 8B8,2B	8 bits	8,7 GB	42–75	62–110
Llama 3.1 8B Instruct8B	8 bits	8,5 GB	43–77	64–113
Gemma 4 E2B5,1B	8 bits	5,4 GB	154–273	225–400
Qwen3.5 4B4B	8 bits	4,3 GB	86–152	126–223
Phi-4 mini instruct3,8B	8 bits	4 GB	92–164	135–240
Llama 3.2 3B Instruct3,21B	8 bits	3,4 GB	108–193	159–282
SmolLM3 3B3B	8 bits	3,2 GB	115–205	169–300
LFM2.5 2.6B2,69B	8 bits	2,9 GB	127–226	186–331
Qwen3.5 2B2B	8 bits	2,1 GB	176–312	257–457
Llama 3.2 1B Instruct1,23B	8 bits	1,3 GB	284–504	415–738
Qwen3.5 0.8B0,8B	8 bits	0,9 GB	410–728	600–1067
Qwen3 0.6B0,6B	8 bits	0,6 GB	614–1092	900–1600
DeepSeek V4.1 Flash 1017552B · 16B actief · Intelligentie 45,1	2 bits lagere kwaliteit	173 GB	74–131	108–192
GLM-5.3 Flash320B · 18B actief · Intelligentie 41,8	3 bits lagere kwaliteit	140 GB	47–83	68–122
Beam 1.0501B · 23B actief · Intelligentie 30,3	2 bits lagere kwaliteit	157 GB	51–91	75–133
MiniMax M3428B · 23B actief · Intelligentie 29,2	2 bits lagere kwaliteit	134 GB	51–91	75–133
Nemotron 3 Ultra 550B A55B550B · 55B actief · Intelligentie 22,9	2 bits lagere kwaliteit	172 GB	21–38	31–56
Qwen3.5 397B A17B397B · 17B actief · Intelligentie 18,4	3 bits lagere kwaliteit	174 GB	50–89	73–130
Llama 4 Maverick 17B-128E Instruct400B · 17B actief · Intelligentie 9,3	3 bits lagere kwaliteit	175 GB	50–89	73–130

Draait, maar traag 2

Past, maar onder de 10 tokens per seconde: prima voor batchwerk, traag om mee te chatten.

Model	Versie	Geheugen	M3 Ultra	M5 Ultra
Mistral Medium 3.5 (128B)128B · Intelligentie 14,2	8 bits	136 GB	3–5	4–7
Devstral 2 (123B)123B	8 bits	131 GB	3–5	4–7

Past net 1

Heeft bijna al het geheugen nodig: verhoog de geheugenlimiet van de GPU en houd de context kort.

Model	Versie	Geheugen	M3 Ultra	M5 Ultra
Mistral Large 3 (675B)675B · 41B actief	2 bits lagere kwaliteit	211 GB	29–51	42–75

Te groot 9

Heeft meer dan 256 GB geheugen nodig, zelfs op 2 bits.

Vragen

Wat is het beste LLM voor een Mac met 256 GB?: Van de modellen met een gepubliceerde Intelligence Index scoort Qwen3.8 Flash Next het hoogst van de modellen die goed draaien in 256 GB (6 bits). Het grootste dat goed draait, is MiMo V2.6 Flash. Voor code: Qwen3 Coder Next.
Is 256 GB genoeg voor lokale AI op een Mac?: 54 van de 73 open modellen op deze lijst draaien er goed in, op 4 bits of beter. macOS laat de GPU standaard ongeveer 192 GB ervan gebruiken; het model en de context moeten daarin passen.
Kan een Mac met 256 GB gpt-oss-20b draaien?: Ja, 4,25 bits native, met ongeveer 194–345 tokens per seconde op een M3 Ultra en 284–505 op een M5 Ultra.

Andere groottes: 8 GB · 16 GB · 18 GB · 24 GB · 32 GB · 36 GB · 48 GB · 64 GB · 96 GB · 128 GB · 192 GB · 256 GB · 512 GB

Draai ze met MLX Harness (gratis, open source) of met Apples mlx-lm in Terminal: stap voor stap.

Zo is het berekend

Geheugen: de parameters van het model op 8, 6, 4, 3 of 2 bits per gewicht plus de groepsschalen van MLX (een halve bit per gewicht), of het eigen formaat van het model, met daarbovenop ruimte voor de context. Standaard laat macOS de GPU ongeveer 75% van het geïntegreerde geheugen gebruiken. Snelheid: de geheugenbandbreedte gedeeld door het aantal bytes dat per token wordt gelezen, is het plafond voor één gesprek; in de openbare Apple Silicon-benchmarks van llama.cpp halen echte runs ongeveer 45% tot 80% daarvan, en dat is het bereik dat we tonen. Dit zijn schattingen, geen metingen: meet je eigen Mac op MLX Bench. Modelgegevens uit elke officiële modelkaart, chipgegevens uit de technische specificaties van Apple. Gecontroleerd op 2026-10-19. Dezelfde gegevens als mlx.app/compare.