Wie viel Speicher braucht Hy-Memory-30B-A3B?

Etwa 16,9 GB für die Gewichte mit 4 Bit, plus Platz für den Kontext: insgesamt 18,4 GB. Auf einem Mac heißt das 32 GB gemeinsamer Arbeitsspeicher oder mehr, denn macOS lässt die GPU standardmäßig etwa 75 % davon nutzen.

Wie schnell ist Hy-Memory-30B-A3B auf einem Mac?

Das Schreibtempo hängt von der Speicherbandbreite ab. Der schnellste Mac dafür ist hier einer mit M5 Ultra und 96 GB, mit etwa 159–282 Tokens pro Sekunde (8 Bit). Der kleinste Mac, der es ausführt, schafft mit 32 GB etwa 100–178 auf dem M2 Max.

Warum läuft Hy-Memory-30B-A3B schneller, als seine Größe vermuten lässt?

Es ist ein Mixture-of-Experts-Modell: Es hält 30,1B Parameter im Speicher, liest pro Token aber nur 3,2B. Darum schreibt es so schnell wie ein viel kleineres Modell.

Läuft Hy-Memory-30B-A3B auf dem Mac? Speicher und Tempo

Speicher bei jeder Genauigkeit

Version	Gewichte	Mit Kontext	Kleinster Mac
8 Bit	31,9 GB	34,5 GB	48 GB
6 Bit	24,4 GB	26,4 GB	36 GB
4 Bit	16,9 GB	18,4 GB	32 GB
3 Bit geringere Qualität	13,2 GB	14,7 GB	24 GB
2 Bit geringere Qualität	9,4 GB	10,9 GB	16 GB

Auf jedem Apple-Chip

Die kleinste Speichergröße jedes Chips, mit der Hy-Memory-30B-A3B läuft, die beste Version, die hineinpasst, und das Schreibtempo, das du erwarten kannst.

Chip	Braucht	Version	Tokens/s
M6	32 GB	4 Bit Läuft gut	43–76
M5 Ultra	96 GB	8 Bit Läuft gut	159–282
M5 Max	36 GB	6 Bit Läuft gut	80–142
M5 Pro	48 GB	8 Bit Läuft gut	41–72
M5	32 GB	4 Bit Läuft gut	38–68
M4 Max	36 GB	6 Bit Läuft gut	71–126
M4 Pro	48 GB	8 Bit Läuft gut	36–64
M4	32 GB	4 Bit Läuft gut	30–53
M3 Ultra	96 GB	8 Bit Läuft gut	108–193
M3 Max	36 GB	6 Bit Läuft gut	52–92
M3 Pro	36 GB	6 Bit Läuft gut	26–46
M3	16 GB	2 Bit Läuft gut	45–80
M2 Ultra	64 GB	8 Bit Läuft gut	106–188
M2 Max	32 GB	4 Bit Läuft gut	100–178
M2 Pro	32 GB	4 Bit Läuft gut	50–89
M2	16 GB	2 Bit Läuft gut	45–80
M1 Ultra	64 GB	8 Bit Läuft gut	106–188
M1 Max	32 GB	4 Bit Läuft gut	100–178
M1 Pro	32 GB	4 Bit Läuft gut	50–89
M1	16 GB	2 Bit Läuft gut	31–54

So führst du es aus

Der einfache Weg: Lade MLX Harness herunter, kostenlos und Open Source. Suche nach Hy-Memory-30B-A3B, lade die Version, die zu deinem Mac passt, und chatte los. MLX Harness stellt das Modell auch deinen anderen Apps über eine OpenAI-kompatible API bereit.MLX Harness herunterladenKostenlos · Apple Silicon · macOS 14.5 oder neuer
Im Terminal mit Apples MLX:pip install mlx-lmmlx_lm.chat --model mlx-community/Hy-Memory-30B-A3B-4bit --trust-remote-code--trust-remote-code erlaubt mlx-lm, den Python-Code auszuführen, der mit diesem Build kommt. Ohne ihn lädt das Modell nicht.Build: mlx-community/Hy-Memory-30B-A3B-4bit auf Hugging Face. Andere Genauigkeiten liegen gleich daneben.

Schritt für Schritt: LLMs auf den Mac laden und ausführen · So nutzt du MLX Harness · MLX vs. Ollama vs. llama.cpp

Über Hy-Memory-30B-A3B

Von	Tencent
Parameter	30,1B gesamt · 3,2B aktiv (Mixture of Experts)
Kontext	256K Tokens
Lizenz	Apache-2.0
Veröffentlicht	2026-10
Eingabe	Text
Gewichte	tencent/Hy-Memory-30B-A3B

Fragen

Wie viel Speicher braucht Hy-Memory-30B-A3B?: Etwa 16,9 GB für die Gewichte mit 4 Bit, plus Platz für den Kontext: insgesamt 18,4 GB. Auf einem Mac heißt das 32 GB gemeinsamer Arbeitsspeicher oder mehr, denn macOS lässt die GPU standardmäßig etwa 75 % davon nutzen.
Wie schnell ist Hy-Memory-30B-A3B auf einem Mac?: Das Schreibtempo hängt von der Speicherbandbreite ab. Der schnellste Mac dafür ist hier einer mit M5 Ultra und 96 GB, mit etwa 159–282 Tokens pro Sekunde (8 Bit). Der kleinste Mac, der es ausführt, schafft mit 32 GB etwa 100–178 auf dem M2 Max.
Warum läuft Hy-Memory-30B-A3B schneller, als seine Größe vermuten lässt?: Es ist ein Mixture-of-Experts-Modell: Es hält 30,1B Parameter im Speicher, liest pro Token aber nur 3,2B. Darum schreibt es so schnell wie ein viel kleineres Modell.

Für deine Model Card oder README

Zeigt den kleinsten Mac, der Hy-Memory-30B-A3B gut ausführt, und verlinkt hierher.

[![Runs on a Mac](https://mlx.app/badge/run/hy-memory-30b-a3b.svg)](https://mlx.app/run/hy-memory-30b-a3b)

So wird gerechnet

Speicher: die Parameter des Modells mit 8, 6, 4, 3 oder 2 Bit pro Gewicht plus die Gruppenskalen von MLX (ein halbes Bit pro Gewicht) oder in seinem nativen Format, dazu Platz für den Kontext. Standardmäßig lässt macOS die GPU etwa 75 % des gemeinsamen Arbeitsspeichers nutzen. Tempo: Speicherbandbreite geteilt durch die pro Token gelesenen Bytes ergibt die Obergrenze für eine Unterhaltung; in den öffentlichen Apple Silicon Benchmarks von llama.cpp erreichen echte Läufe etwa 45 % bis 80 % davon, und diese Spanne zeigen wir. Das sind Schätzungen, keine Messungen: Miss deinen eigenen Mac mit MLX Bench. Modellwerte aus der jeweiligen offiziellen Model Card, Chipwerte aus Apples technischen Daten. Geprüft am 2026-10-19. Dieselben Daten wie auf mlx.app/compare.

Offene Daten: mlx.app/data (JSON, CSV)

Läuft Hy-Memory-30B-A3B auf einem Mac?