Der beste Mac für lokale LLMs.

1Warum Speicher und Bandbreite alles entscheiden

Ein Sprachmodell schreibt einen Token nach dem anderen und liest für jeden alle aktiven Gewichte aus dem Speicher. Das Tempolimit für eine einzelne Unterhaltung ist daher ungefähr die Speicherbandbreite geteilt durch die Größe der aktiven Gewichte. In den öffentlichen Benchmarks von llama.cpp erreicht die echte Generierung auf Apple Chips 43 % bis 80 % dieses Limits (llama.cpp).

Das Lesen deines Prompts ist etwas anderes: Hier begrenzt die Rechenleistung, deshalb verarbeiten Chips der M5-Generation mit Neural Accelerators in der GPU Prompts um ein Mehrfaches schneller als frühere (Apple).

2Jeder Chip im Vergleich

Ältere Chips funktionieren weiterhin gut, wenn sie genug Speicher haben. Ein M1 Max oder M2 Max mit 64 GB liest mit 400 GB/s, mehr als jeder heutige Basis-Chip, und kostet gebraucht oft deutlich weniger.

3Welchen Mac kaufen

Zum Ausprobieren: MacBook Air oder Mac mini mit 16 bis 32 GB

Führt 7B- bis 14B-Modelle bequem aus und mit 32 GB auch Modelle der 30B-Klasse. Gut für Chat, Texte und leichte Hilfe beim Programmieren.

Bestes Preis-Leistungs-Verhältnis: Pro-Chip mit 64 GB

Ein Mac mini oder MacBook Pro mit M4 Pro oder M5 Pro fasst Modelle der 70B-Klasse und führt mittelgroße Modelle in gutem Tempo aus. Der Sweet Spot für die meisten Entwickler.

Ernsthafte lokale KI: Max-Chip mit 128 GB

Führt gpt-oss-120b (etwa 65 GB in 4 Bit) auf einem Laptop aus; nach Apples Bandbreitenangabe liegt die theoretische Obergrenze für einen einzelnen Stream auf dem M5 Max bei etwa 225 Tokens pro Sekunde. Die beste mobile Wahl.

Die größten Modelle: Mac Studio mit Ultra

Bis zu 512 GB mit 1,2 TB/s beim M5 Ultra fassen Modelle mit Hunderten Milliarden Parametern auf einem einzigen Schreibtisch. Für noch größere Modelle lassen sich Macs über Thunderbolt 5 zu einem Cluster verbinden: siehe KI-Cluster mit Macs.

4Lass den Mac sich bezahlt machen

Ein Mac, der für KI gekauft wurde, wartet die meiste Zeit. MLX Node ist eine kostenlose App, die diese freie Kapazität MLX Network zur Verfügung stellt, KI-Jobs auf demselben MLX-Framework ausführt und MLX Tokens für verifizierte Arbeit verdient. Ein dedizierter Platz passend zum Chip vervielfacht, was er verdient: Ein Pro-Platz läuft mit voller Rate auf einem Pro- oder Max-Chip, ein Ultra-Platz auf einem Ultra-Chip.

Vergleiche deinen Mac vorher auf MLX Bench: Dort siehst du gemessene Tokens pro Sekunde für offene Modelle auf jedem Chip.

5Fragen

Reichen 16 GB für ein lokales LLM?

Ja, für Modelle bis etwa 14 Milliarden Parameter in 4 Bit. Für größere Modelle oder lange Kontexte sind 32 GB oder mehr deutlich angenehmer.

Mac Studio oder MacBook Pro für LLMs?

Beide gibt es mit Max-Chips und bis zu 128 GB. Das MacBook Pro ist mobil; der Mac Studio bleibt unter langer Last kühler und ist der einzige Mac mit Ultra-Chips und bis zu 512 GB.

Ist ein Mac für lokale KI besser als eine Nvidia-GPU?

Für die größten Modelle zu Hause oft ja: Der gemeinsame Arbeitsspeicher eines Macs fasst weit mehr als der Speicher einer Consumer-Grafikkarte. Eine High-End-Karte von Nvidia ist bei Modellen schneller, die in ihren Speicher passen.

Macht der M5 LLMs schneller?

Ja, vor allem beim Lesen von Prompts: Apple hat mit MLX gemessen, dass der erste Token auf dem M5 3,3- bis 4,1-mal früher kommt als auf dem M4. Das Generierungstempo wächst mit der Speicherbandbreite, die vom M4 zum M5 um 28 % gestiegen ist.