Welches LLM ist das beste für den M3 mit 8 GB?

Unter den Modellen mit veröffentlichtem Intelligence Index erzielt MiniCPM5 2B den höchsten Wert von denen, die hier gut laufen: 8 Bit, etwa 17–30 Tokens pro Sekunde. Das größte, das gut läuft, ist Granite 4.2 8B.

Kann der M3 mit 8 GB Llama 3.3 70B ausführen?

Nein: Selbst mit 2 Bit braucht es mehr als die 6 GB, die die GPU standardmäßig nutzen kann.

Welche LLMs laufen auf dem M3 mit 8 GB? Modelle, Tempo

Läuft gut 21

Passt mit Platz für den Kontext, bei 10 oder mehr Tokens pro Sekunde.

Modell	Version	Speicher	Tokens/s
MiniCPM5 2B2,52B · Intelligenz 12,5	8 Bit	2,7 GB	17–30
Granite 4.2 8B8B · Intelligenz 11,1	4 Bit	4,5 GB	10–18
Granite 4.2 3B3B · Intelligenz 9,1	8 Bit	3,2 GB	14–25
Gemma 4 E4B8B · Intelligenz 8,9	4 Bit	4,5 GB	18–32
Nemotron 3 Nano 4B3,97B · Intelligenz 4,8	8 Bit	4,2 GB	11–19
Llama 3.1 8B Instruct8B	4 Bit	4,5 GB	10–18
Gemma 4 E2B5,1B	6 Bit	4,1 GB	24–42
Qwen3.5 4B4B	8 Bit	4,3 GB	10–19
Phi-4 mini instruct3,8B	8 Bit	4 GB	11–20
Llama 3.2 3B Instruct3,21B	8 Bit	3,4 GB	13–24
SmolLM3 3B3B	8 Bit	3,2 GB	14–25
LFM2.5 2.6B2,69B	8 Bit	2,9 GB	16–28
Qwen3.5 2B2B	8 Bit	2,1 GB	21–38
Llama 3.2 1B Instruct1,23B	8 Bit	1,3 GB	35–62
Qwen3.5 0.8B0,8B	8 Bit	0,9 GB	50–89
Qwen3 0.6B0,6B	8 Bit	0,6 GB	75–133
Qwen3.5 9B9B · Intelligenz 11,2	3 Bit geringere Qualität	3,9 GB	12–21
Ministral 3 8B8,9B · Intelligenz 5,5	3 Bit geringere Qualität	3,9 GB	12–21
Phi-4 (14B)14B	2 Bit geringere Qualität	4,4 GB	10–18
Gemma 4 12B Unified12B	2 Bit geringere Qualität	3,7 GB	12–22
Qwen3 8B8,2B	3 Bit geringere Qualität	3,6 GB	13–22

Passt gerade so 1

Braucht fast den ganzen Speicher: Erhöhe das GPU-Speicherlimit und halte den Kontext kurz.

Modell	Version	Speicher	Tokens/s
Phi-4 Reasoning Vision 15B15B	2 Bit geringere Qualität	4,7 GB	10–17

Zu groß 51

Braucht mehr als 8 GB Speicher, selbst mit 2 Bit.

Andere Macs

Alle Macs mit 8 GB, mit jedem Chip.

Der M3 mit mehr oder weniger Speicher:

Benachbarte Chips:

Im direkten Vergleich:

Mit jedem Mac oder jeder GPU vergleichen · Der M3 für lokale KI · Der beste Mac für lokale LLMs · Alle Macs

Fragen

Welches LLM ist das beste für den M3 mit 8 GB?: Unter den Modellen mit veröffentlichtem Intelligence Index erzielt MiniCPM5 2B den höchsten Wert von denen, die hier gut laufen: 8 Bit, etwa 17–30 Tokens pro Sekunde. Das größte, das gut läuft, ist Granite 4.2 8B.
Kann der M3 mit 8 GB Llama 3.3 70B ausführen?: Nein: Selbst mit 2 Bit braucht es mehr als die 6 GB, die die GPU standardmäßig nutzen kann.
Wie schnell ist gpt-oss-20b auf dem M3?: Es passt nicht in 8 GB.

Führ sie mit MLX Harness (kostenlos, Open Source) oder mit Apples mlx-lm im Terminal aus: Schritt für Schritt.

So wird gerechnet

Speicher: die Parameter des Modells mit 8, 6, 4, 3 oder 2 Bit pro Gewicht plus die Gruppenskalen von MLX (ein halbes Bit pro Gewicht) oder in seinem nativen Format, dazu Platz für den Kontext. Standardmäßig lässt macOS die GPU etwa 75 % des gemeinsamen Arbeitsspeichers nutzen. Tempo: Speicherbandbreite geteilt durch die pro Token gelesenen Bytes ergibt die Obergrenze für eine Unterhaltung; in den öffentlichen Apple Silicon Benchmarks von llama.cpp erreichen echte Läufe etwa 45 % bis 80 % davon, und diese Spanne zeigen wir. Das sind Schätzungen, keine Messungen: Miss deinen eigenen Mac mit MLX Bench. Modellwerte aus der jeweiligen offiziellen Model Card, Chipwerte aus Apples technischen Daten. Geprüft am 2026-10-19. Dieselben Daten wie auf mlx.app/compare.