Mac mini vs. Mac Studio für KI.

Beide sind kleine Desktop-Macs, die KI-Modelle auf ihrer eigenen GPU und im gemeinsamen Arbeitsspeicher ausführen. Der Unterschied, der zählt: wie viel Speicher du bekommst und wie schnell der Chip ihn liest. Hier ist der Vergleich nach Apples Angaben, und welcher Mac zu welcher Art von Modell passt.

Aktualisiert

Kurz gesagt

  • Den Mac mini gibt es mit bis zu 64 GB (M5 Pro), den Mac Studio mit bis zu 128 GB mit M5 Max und 512 GB mit M5 Ultra (Apple, Apple).
  • Die Bandbreite bestimmt das Schreibtempo: 153–170 GB/s beim Mac mini mit M6, 307 GB/s beim M5 Pro, bis zu 614 GB/s beim M5 Max und 1.200 GB/s beim M5 Ultra.
  • Modelle bis etwa 30B Parameter in 4 Bit: Ein Mac mini mit M5 Pro reicht. Modelle der 70B-Klasse, gpt-oss-120b oder lange Kontexte: ein Mac Studio mit 128 GB. Die größten offenen Modelle: ein Mac Studio mit M5 Ultra.
  • Der Speicher lässt sich später nicht aufrüsten, wähle ihn also für die Modelle, die du nächstes Jahr ausführen willst, nicht nur für die von heute.

1Die Daten, die für KI zählen

MacSpeicheroptionenSpeicherbandbreiteGrößtes Modell in 4 BitStrom, Leerlauf bis Maximum
Mac mini, M616, 24 oder 32 GB153–170 GB/setwa 21B bis 42B4–70 W
Mac mini, M5 Pro24, 48 oder 64 GB307 GB/setwa 32B bis 85B6–145 W
Mac Studio, M5 Max36, 48, 64 oder 128 GB460–614 GB/setwa 48B bis 170B7–200 W
Mac Studio, M5 Ultra96, 256 oder 512 GB1.200 GB/setwa 128B bis 682B9–385 W
Speicher und Bandbreite aus Apples technischen Daten für Mac mini und Mac Studio; Strom aus Apples Angaben für Mac mini und Mac Studio. Größtes Modell: nur die Gewichte, wobei die GPU etwa 75 % des Speichers nutzt (so wird gerechnet).

Jede Konfiguration verlinkt auf die Modelle, die darauf gut laufen. Ältere Modelle funktionieren genauso: der Mac mini mit M4 oder M4 Pro und der Mac Studio mit M4 Max oder M3 Ultra (alle Macs im Ranking).

2Wie schnell jeder schreibt

Beim Schreiben von Text werden die aktiven Gewichte des Modells für jeden Token einmal gelesen, die Speicherbandbreite setzt dem Tempo also eine Obergrenze. Für ein dichtes 32B-Modell in 4 Bit, etwa 18 GB:

MacObergrenze für einen ChatPasst es?
Mac mini, M6 (32 GB)etwa 9 Tokens/sJa
Mac mini, M5 Pro (48 oder 64 GB)etwa 17 Tokens/sJa
Mac Studio, M5 Max (48 GB oder mehr)etwa 34 Tokens/sJa
Mac Studio, M5 Ultraetwa 67 Tokens/sJa
Bandbreite geteilt durch 18 GB. Echte Läufe erreichen meist etwa 45 % bis 80 % der Obergrenze (llama.cpp-Benchmarks). Schätzungen, keine Messungen.

Mixture-of-Experts-Modelle lesen pro Token nur einen Bruchteil ihrer Gewichte und schreiben daher viel schneller, als ihre Größe vermuten lässt: Der Speicher entscheidet, ob sie passen, die Bandbreite bestimmt weiterhin das Tempo. Das Einlesen eines langen Prompts hängt eher an der Rechenleistung der GPU als an der Bandbreite, und dort ziehen die größeren GPUs der Max- und Ultra-Chips noch weiter davon.

3Welcher für welche Modelle

  • Kleine und mittlere Modelle (bis etwa 30B in 4 Bit), Chat, Coding-Helfer, ein KI-Server zu Hause: ein Mac mini mit M5 Pro und 48 oder 64 GB. Der Mac mini mit M6 und 32 GB führt dieselben Größen mit etwa halbem Tempo aus.
  • Modelle der 70B-Klasse, gpt-oss-120b, lange Kontexte oder mehrere Modelle gleichzeitig: ein Mac Studio mit M5 Max und 128 GB. OpenAIs eigene Dateien für gpt-oss-120b sind etwa 65 GB groß (OpenAI), mehr, als irgendein Mac mini seiner GPU geben kann.
  • Die größten offenen Modelle (Hunderte Milliarden Parameter): ein Mac Studio mit M5 Ultra und 256 oder 512 GB, oder mehrere Macs zusammen (Mac-KI-Cluster).

Für ein bestimmtes Modell zeigt seine Seite den kleinsten Mac, der es ausführt, und das Tempo auf jedem Chip: jedes offene Modell.

4Den ganzen Tag im Betrieb

Beide sind leise, sparsame Rechner für den Dauerbetrieb. Ein Mac mini braucht laut Apples Angaben oben im Leerlauf 4–6 W, ein Mac Studio 7–9 W; unter Volllast kann der Mac Studio mit M5 Ultra bis zu 385 W ziehen. Mac mini als KI-Server erklärt, wie du ihn wach hältst und Modelle für andere Geräte bereitstellst, und wie viel Strom ein Mac braucht, was ein Tag kostet.

Im Leerlauf kann MLX Node KI-Aufträge für MLX Network ausführen und MLX Tokens verdienen. Ein dedizierter Platz passend zum Chip schürft schneller: Core für den M6, Pro für M5 Pro und M5 Max, Ultra für den M5 Ultra. Erträge sind nicht garantiert: Lies die Risiken.

5Fragen

Lohnt sich ein Mac Studio statt eines Mac mini für KI?
Wenn du Modelle über etwa 85B Parameter, gpt-oss-120b oder lange Kontexte willst, ja: Nur der Mac Studio hat mehr als 64 GB. Modelle bis etwa 30B in 4 Bit führt ein Mac mini mit M5 Pro aus, mit etwa der halben Bandbreite des M5 Max.
Kann ein Mac mini ein 70B-Modell ausführen?
Nur der M5 Pro mit 64 GB, in 4 Bit und mit kurzem Kontext: etwa 39 GB Gewichte in den 48 GB, die die GPU standardmäßig nutzen kann, mit ein paar Tokens pro Sekunde. Ein Mac Studio mit 128 GB führt es mit Platz für Kontext aus, etwa doppelt so schnell.
Mac Studio M5 Max oder M5 Ultra für LLMs?
Der M5 Ultra hat etwa die doppelte Bandbreite (1.200 gegenüber 614 GB/s), schreibt also etwa doppelt so schnell, und geht bis 512 GB. Der M5 Max mit 128 GB deckt Modelle bis etwa 170B in 4 Bit ab. Siehe M5 Max vs. M5 Ultra.
Mac mini M6 oder M5 Pro für KI?
Den M5 Pro: Er liest den Speicher etwa 80 % schneller als der M6 mit 24 oder 32 GB und geht bis 64 GB statt 32 GB.

Quellen

  1. Applesupport.apple.com
  2. Applesupport.apple.com
  3. Mac minisupport.apple.com
  4. Mac Studiosupport.apple.com
  5. llama.cpp-Benchmarksgithub.com
  6. OpenAIhuggingface.co

Weiterlesen