Kann der M4 Max ein 70B-Modell ausführen?

Ja. Ein 70B-Modell in 4 Bit braucht etwa 40 GB, und der M4 Max hat bis zu 128 GB. Rechne mit einer Obergrenze von etwa 14 Tokens pro Sekunde für einen Chat.

Wie viele Tokens pro Sekunde schafft der M4 Max?

Bei einem 8B-Modell in 4 Bit liegt die Obergrenze bei etwa 121 Tokens pro Sekunde; echte Läufe erreichen ungefähr die Hälfte bis vier Fünftel davon. Größere Modelle sind entsprechend langsamer.

Ist der M4 Max gut für KI?

Für lokale Modelle zählen Speicher und Bandbreite am meisten. Der M4 Max hat bis zu 128 GB mit 546 GB/s, genug für Modelle bis etwa 170 Milliarden Parameter. Mit MLX Node kann er außerdem verdienen, indem er KI-Arbeit für MLX Network erledigt.

M4 Max für lokale LLMs: Speicher, Tempo und was passt

1Die Daten, die für KI zählen

Gemeinsamer Arbeitsspeicher	128 GB
Speicherbandbreite	546 GB/s, oder 410 GB/s in der kleineren Konfiguration
Steckt in	14- and 16-inch MacBook Pro (2024), Mac Studio (2025)
Passender dedizierter Platz	Pro-Platz: schürft bis zu 80 MLX am Tag

2Welche Modelle passen

Bei 4 Bit pro Gewicht braucht ein Modell etwas mehr als ein halbes Gigabyte pro Milliarde Parameter, dazu Platz für seinen Kontext und macOS. Mit 128 GB fasst der M4 Max bequem Modelle bis etwa 170 Milliarden Parameter.

Modell in 4 Bit	Benötigter Speicher	Passt auf den M4 Max
8B-Modell	4,5 GB	Ja
14B-Modell	7,9 GB	Ja
32B-Modell	18 GB	Ja
70B-Modell	39,4 GB	Ja
gpt-oss-120b, Mixture-of-Experts	65 GB	Ja
Qwen3.5-397B-A17B, Mixture-of-Experts	223,3 GB	Nein
DeepSeek-V4.1-Flash, Mixture-of-Experts	316 GB	Nein

3Wie schnell er läuft

Beim Schreiben von Text begrenzt die Speicherbandbreite: Jeder neue Token liest die aktiven Gewichte des Modells einmal. Teilt man die 546 GB/s beim M4 Max durch die pro Token gelesenen Bytes, ergibt sich die Obergrenze unten. Echte Läufe erreichen meist etwa 45 % bis 80 % davon (Benchmarks von llama.cpp).

Modell in 4 Bit	Gelesen pro Token	Obergrenze für einen Chat
8B-Modell	4,5 GB	121 Tokens/s
14B-Modell	7,9 GB	69 Tokens/s
32B-Modell	18 GB	30 Tokens/s
70B-Modell	39,4 GB	14 Tokens/s
gpt-oss-120b, Mixture-of-Experts	2,7 GB	202 Tokens/s

Gemessen: Auf dem M4 Max (40-core GPU) erzeugt llama.cpp in seinen öffentlichen Benchmarks 83 Tokens pro Sekunde mit Llama-2-7B (Q4_0).

5Mit anderen Chips vergleichen

6Fragen

Kann der M4 Max ein 70B-Modell ausführen?: Ja. Ein 70B-Modell in 4 Bit braucht etwa 40 GB, und der M4 Max hat bis zu 128 GB. Rechne mit einer Obergrenze von etwa 14 Tokens pro Sekunde für einen Chat.
Wie viele Tokens pro Sekunde schafft der M4 Max?: Bei einem 8B-Modell in 4 Bit liegt die Obergrenze bei etwa 121 Tokens pro Sekunde; echte Läufe erreichen ungefähr die Hälfte bis vier Fünftel davon. Größere Modelle sind entsprechend langsamer.
Ist der M4 Max gut für KI?: Für lokale Modelle zählen Speicher und Bandbreite am meisten. Der M4 Max hat bis zu 128 GB mit 546 GB/s, genug für Modelle bis etwa 170 Milliarden Parameter. Mit MLX Node kann er außerdem verdienen, indem er KI-Arbeit für MLX Network erledigt.

Quellen

Apple: M4 Pro and M4 Maxapple.com
llama.cpp: Apple Silicon benchmarksgithub.com