Was kann dein Mac ausführen?
Wähle deinen Mac oder ein anderes Gerät und sieh, welche offenen KI-Modelle in seinen Speicher passen und wie schnell es sie ausführt. Berechnet aus der Modellkarte jedes Modells und den veröffentlichten Speicher- und Bandbreitenwerten jedes Chips.
Apple M5 mit 16 GB: standardmäßig etwa 12 GB für Modelle, 153 GB/s Speicherbandbreite. 20 von 43 beliebten Modellen laufen darauf. Eigene Seite Gemessen: 32 Tokens/s mit Llama 2 7B in 4 Bit in llama.cpp (M5 (10-core GPU)).
Intelligenz: Artificial Analysis Intelligence Index v4.3.2, sofern gemessen. Modellnamen verlinken auf ihre offiziellen Modellkarten.
So wird gerechnet
Speicher. Jedes Modell wird in der höchsten Genauigkeit gezeigt, die passt: 8, 6, 4, 3 oder 2 Bit pro Gewicht plus die Gruppenskalen von MLX (ein halbes Bit pro Gewicht), oder im nativen Format, wenn es so ausgeliefert wird. Auf einem Mac darf die GPU standardmäßig etwa 75 % des gemeinsamen Arbeitsspeichers nutzen; darüber lassen wir Platz für den Kontext.
Tempo. Beim Schreiben wird pro Token jedes aktive Gewicht einmal gelesen. Speicherbandbreite geteilt durch diese Bytes ist also die Obergrenze für eine Unterhaltung. In den öffentlichen Apple-Silicon-Benchmarks von llama.cpp erreichen echte Läufe etwa 45 % bis 80 % davon – das ist der gezeigte Bereich. Das Einlesen eines langen Prompts hängt dagegen von der Rechenleistung ab und wird nicht gezeigt.
Quellen. Parameter, Kontext und Lizenzen stammen aus der offiziellen Modellkarte jedes Modells auf Hugging Face (verlinkt über den Namen), Speicher und Bandbreite aus den Spezifikationen von Apple und den Herstellern. Geprüft am 2026-10-19. Miss deinen eigenen Mac mit MLX Bench. Alle Macs, alle Modelle und die komplette Passt-Tabelle gibt es kostenlos als JSON und CSV: offene Daten.
Stöbern. Jeder Mac, vom M1 mit 8 GB bis zum M5 Ultra mit 512 GB, mit jedem Modell, das darauf läuft, und jedes Modell mit dem kleinsten Mac, den es braucht.
Ausprobieren. Schritt für Schritt: LLMs auf dem Mac herunterladen und ausführen, MLX vs. Ollama vs. llama.cpp und der beste Mac für lokale LLMs. Während dein Mac nichts zu tun hat, kann er MLX-Tokens verdienen.
- Woran erkenne ich, ob ein LLM auf meinem Mac läuft?
- Vergleiche die Größe des Modells in der gewünschten Genauigkeit mit dem gemeinsamen Arbeitsspeicher deines Macs. Standardmäßig lässt macOS die GPU etwa 75 % davon nutzen, und das Modell braucht zusätzlich Platz für seinen Kontext. Ein 4-Bit-Modell braucht etwas mehr als ein halbes Gigabyte pro Milliarde Parameter.
- Wie viele Tokens pro Sekunde schafft er?
- Das Schreiben ist durch die Speicherbandbreite begrenzt: Jedes Token liest die aktiven Gewichte des Modells einmal. Bandbreite geteilt durch die pro Token gelesenen Bytes ist die Obergrenze für eine Unterhaltung; echte Läufe erreichen meist etwa 45 % bis 80 % davon.
- Warum laufen Mixture-of-Experts-Modelle schneller?
- Sie halten viele Experten im Speicher, nutzen für jedes Token aber nur wenige davon, sodass pro Token viel weniger Bytes gelesen werden. Sie brauchen Speicher für das ganze Modell, laufen aber so schnell wie ein viel kleineres.
- Reichen 4 Bit aus?
- Bei den meisten Modellen bleibt die Qualität mit 4 Bit nah am Original. Unter 4 Bit sinkt sie schneller, deshalb sind Versionen unter 4 Bit markiert.