Wie viel Speicher braucht Recursive Flint?

Etwa 22,4 GB für die Gewichte mit 4 Bit, plus Platz für den Kontext: insgesamt 24,2 GB. Auf einem Mac heißt das 36 GB gemeinsamer Arbeitsspeicher oder mehr, denn macOS lässt die GPU standardmäßig etwa 75 % davon nutzen. Die eigene Engine von Recursive, Rec, braucht einen M4 Pro, M5 Pro oder M5 Max mit mindestens 48 GB gemeinsamem Arbeitsspeicher (Vorgabe des Herstellers).

Wie schnell ist Recursive Flint auf einem Mac?

Das Schreibtempo hängt von der Speicherbandbreite ab. Der schnellste Mac dafür ist hier einer mit M5 Ultra und 96 GB, mit etwa 200–356 Tokens pro Sekunde (8 Bit). Der kleinste Mac, der es ausführt, schafft mit 36 GB etwa 148–263 auf dem M5 Max.

Warum läuft Recursive Flint schneller, als seine Größe vermuten lässt?

Es ist ein Mixture-of-Experts-Modell: Es hält 39,8B Parameter im Speicher, liest pro Token aber nur 2,5B. Darum schreibt es so schnell wie ein viel kleineres Modell.

Läuft Recursive Flint auf dem Mac? Speicher und Tempo

Speicher bei jeder Genauigkeit

Version	Gewichte	Mit Kontext	Kleinster Mac
8 Bit	42,3 GB	45,7 GB	64 GB
6 Bit	32,3 GB	34,9 GB	48 GB
4 Bit	22,4 GB	24,2 GB	36 GB
3 Bit geringere Qualität	17,4 GB	18,9 GB	32 GB
2 Bit geringere Qualität	12,4 GB	13,9 GB	24 GB

Auf jedem Apple-Chip

Die kleinste Speichergröße jedes Chips, mit der Recursive Flint läuft, die beste Version, die hineinpasst, und das Schreibtempo, das du erwarten kannst.

Chip	Braucht	Version	Tokens/s
M6	24 GB	2 Bit Läuft gut	96–170
M5 Ultra	96 GB	8 Bit Läuft gut	200–356
M5 Max	36 GB	4 Bit Läuft gut	148–263
M5 Pro	48 GB	6 Bit Läuft gut	69–123
M5	24 GB	2 Bit Läuft gut	86–153
M4 Max	36 GB	4 Bit Läuft gut	132–234
M4 Pro	48 GB	6 Bit Läuft gut	61–109
M4	24 GB	2 Bit Läuft gut	68–120
M3 Ultra	96 GB	8 Bit Läuft gut	137–243
M3 Max	36 GB	4 Bit Läuft gut	96–171
M3 Pro	36 GB	4 Bit Läuft gut	48–86
M3	24 GB	2 Bit Läuft gut	56–100
M2 Ultra	64 GB	8 Bit Läuft gut	133–237
M2 Max	64 GB	8 Bit Läuft gut	67–119
M2 Pro	32 GB	3 Bit Läuft gut	82–145
M2	24 GB	2 Bit Läuft gut	56–100
M1 Ultra	64 GB	8 Bit Läuft gut	133–237
M1 Max	64 GB	8 Bit Läuft gut	67–119
M1 Pro	32 GB	3 Bit Läuft gut	82–145
M1	16 GB	2 Bit Gerade so	38–68

Von anderen gemessen

Generierungstempo von Recursive Flint, das andere auf ihren eigenen Macs gemessen und öffentlich gepostet haben. Das sind Messungen Dritter, nicht unsere, und nicht die Schätzungen oben.

Mac	Laufzeit	Genauigkeit	Decode tok/s	Quelle
Mac Studio M3 Ultra	Ollama (MLX engine)	INT4 (QAT)	107	Alec Kloss @aleckloss
Mac Studio M3 Ultra	mlx-lm (PR #1998)	INT4 (QAT)	104,5	Alec Kloss @aleckloss
Mac Studio M3 Ultra	mlx-vlm	BF16	51,3bei 1K Kontext	Prince Canuma @Prince_Canuma
Mac Studio M3 Ultra	mlx-vlm	BF16	33bei 128K Kontext	Prince Canuma @Prince_Canuma
Mac mini M5 Pro 64 GB	Ollama	4-bit	115	Pratik Gandhi @pratikg
Mac mini M5 Pro 64 GB	Ollama	4-bit	87bei 20K Kontext	Pratik Gandhi @pratikg

Die Ergebnisse hängen von Laufzeitumgebung und Einstellungen ab: Version, Genauigkeit, Kontextlänge, Prompt und Reasoning an oder aus ändern das Tempo.

So führst du es aus

Im Terminal mit Rec, der eigenen Engine des Herstellers:curl -fsSL https://raw.githubusercontent.com/recursive-oss/rec/main/install.sh | bashrec launch piVoraussetzungen: M4 Pro, M5 Pro or M5 Max · at least 48 GB unified memory · about 30 GB free disk · Node.js 22 and npm (for pi)Build: RecursiveSI/flint-int4 auf Hugging Face. Andere Genauigkeiten liegen gleich daneben.

Schritt für Schritt: LLMs auf den Mac laden und ausführen · So nutzt du MLX Harness · MLX vs. Ollama vs. llama.cpp

Über Recursive Flint

Von	Recursive
Parameter	39,8B gesamt · 2,5B aktiv (Mixture of Experts)
Kontext	256K Tokens
Lizenz	Apache-2.0
Veröffentlicht	2026-10
Eingabe	Text
Gewichte	RecursiveSI/flint

Fragen

Wie viel Speicher braucht Recursive Flint?: Etwa 22,4 GB für die Gewichte mit 4 Bit, plus Platz für den Kontext: insgesamt 24,2 GB. Auf einem Mac heißt das 36 GB gemeinsamer Arbeitsspeicher oder mehr, denn macOS lässt die GPU standardmäßig etwa 75 % davon nutzen. Die eigene Engine von Recursive, Rec, braucht einen M4 Pro, M5 Pro oder M5 Max mit mindestens 48 GB gemeinsamem Arbeitsspeicher (Vorgabe des Herstellers).
Wie schnell ist Recursive Flint auf einem Mac?: Das Schreibtempo hängt von der Speicherbandbreite ab. Der schnellste Mac dafür ist hier einer mit M5 Ultra und 96 GB, mit etwa 200–356 Tokens pro Sekunde (8 Bit). Der kleinste Mac, der es ausführt, schafft mit 36 GB etwa 148–263 auf dem M5 Max.
Warum läuft Recursive Flint schneller, als seine Größe vermuten lässt?: Es ist ein Mixture-of-Experts-Modell: Es hält 39,8B Parameter im Speicher, liest pro Token aber nur 2,5B. Darum schreibt es so schnell wie ein viel kleineres Modell.

Für deine Model Card oder README

Zeigt den kleinsten Mac, der Recursive Flint gut ausführt, und verlinkt hierher.

[![Runs on a Mac](https://mlx.app/badge/run/flint.svg)](https://mlx.app/run/flint)

So wird gerechnet

Speicher: die Parameter des Modells mit 8, 6, 4, 3 oder 2 Bit pro Gewicht plus die Gruppenskalen von MLX (ein halbes Bit pro Gewicht) oder in seinem nativen Format, dazu Platz für den Kontext. Standardmäßig lässt macOS die GPU etwa 75 % des gemeinsamen Arbeitsspeichers nutzen. Tempo: Speicherbandbreite geteilt durch die pro Token gelesenen Bytes ergibt die Obergrenze für eine Unterhaltung; in den öffentlichen Apple Silicon Benchmarks von llama.cpp erreichen echte Läufe etwa 45 % bis 80 % davon, und diese Spanne zeigen wir. Das sind Schätzungen, keine Messungen: Miss deinen eigenen Mac mit MLX Bench. Modellwerte aus der jeweiligen offiziellen Model Card, Chipwerte aus Apples technischen Daten. Geprüft am 2026-10-19. Dieselben Daten wie auf mlx.app/compare.

Offene Daten: mlx.app/data (JSON, CSV)

Läuft Recursive Flint auf einem Mac?