Kann der M5 ein 70B-Modell ausführen?

Nicht bequem. Ein 70B-Modell in 4 Bit braucht etwa 40 GB, und der M5 hat höchstens 32 GB. Modelle bis etwa 42 Milliarden Parameter passen gut.

Wie viele Tokens pro Sekunde schafft der M5?

Bei einem 8B-Modell in 4 Bit liegt die Obergrenze bei etwa 34 Tokens pro Sekunde; echte Läufe erreichen ungefähr die Hälfte bis vier Fünftel davon. Größere Modelle sind entsprechend langsamer.

Ist der M5 gut für KI?

Für lokale Modelle zählen Speicher und Bandbreite am meisten. Der M5 hat bis zu 32 GB mit 153 GB/s, genug für Modelle bis etwa 42 Milliarden Parameter. Mit MLX Node kann er außerdem verdienen, indem er KI-Arbeit für MLX Network erledigt.

M5 für lokale LLMs: Speicher, Tempo und was passt

1Die Daten, die für KI zählen

Gemeinsamer Arbeitsspeicher	32 GB
Speicherbandbreite	153 GB/s
Steckt in	14-inch MacBook Pro (2025), MacBook Air (2026)
Passender dedizierter Platz	Core-Platz: schürft bis zu 20 MLX am Tag

2Welche Modelle passen

Bei 4 Bit pro Gewicht braucht ein Modell etwas mehr als ein halbes Gigabyte pro Milliarde Parameter, dazu Platz für seinen Kontext und macOS. Mit 32 GB fasst der M5 bequem Modelle bis etwa 42 Milliarden Parameter.

Modell in 4 Bit	Benötigter Speicher	Passt auf den M5
8B-Modell	4,5 GB	Ja
14B-Modell	7,9 GB	Ja
32B-Modell	18 GB	Ja
70B-Modell	39,4 GB	Nein
gpt-oss-120b, Mixture-of-Experts	65 GB	Nein
Qwen3.5-397B-A17B, Mixture-of-Experts	223,3 GB	Nein
DeepSeek-V4.1-Flash, Mixture-of-Experts	316 GB	Nein

3Wie schnell er läuft

Beim Schreiben von Text begrenzt die Speicherbandbreite: Jeder neue Token liest die aktiven Gewichte des Modells einmal. Teilt man die 153 GB/s beim M5 durch die pro Token gelesenen Bytes, ergibt sich die Obergrenze unten. Echte Läufe erreichen meist etwa 45 % bis 80 % davon (Benchmarks von llama.cpp).

Modell in 4 Bit	Gelesen pro Token	Obergrenze für einen Chat
8B-Modell	4,5 GB	34 Tokens/s
14B-Modell	7,9 GB	19 Tokens/s
32B-Modell	18 GB	9 Tokens/s

Gemessen: Auf dem M5 (10-core GPU) erzeugt llama.cpp in seinen öffentlichen Benchmarks 32 Tokens pro Sekunde mit Llama-2-7B (Q4_0).

Chips der M5-Generation haben Neural Accelerators in der GPU und lesen Prompts daher um ein Mehrfaches schneller als der M4: Laut Apples Messung kommt der erste Token mit MLX 3,3- bis 4,1-mal früher (Apple).

5Mit anderen Chips vergleichen

6Fragen

Kann der M5 ein 70B-Modell ausführen?: Nicht bequem. Ein 70B-Modell in 4 Bit braucht etwa 40 GB, und der M5 hat höchstens 32 GB. Modelle bis etwa 42 Milliarden Parameter passen gut.
Wie viele Tokens pro Sekunde schafft der M5?: Bei einem 8B-Modell in 4 Bit liegt die Obergrenze bei etwa 34 Tokens pro Sekunde; echte Läufe erreichen ungefähr die Hälfte bis vier Fünftel davon. Größere Modelle sind entsprechend langsamer.
Ist der M5 gut für KI?: Für lokale Modelle zählen Speicher und Bandbreite am meisten. Der M5 hat bis zu 32 GB mit 153 GB/s, genug für Modelle bis etwa 42 Milliarden Parameter. Mit MLX Node kann er außerdem verdienen, indem er KI-Arbeit für MLX Network erledigt.

Quellen

Apple: M5apple.com
Apple: MacBook Air with M5apple.com
llama.cpp: Apple Silicon benchmarksgithub.com