Speicher bei jeder Genauigkeit
| Version | Gewichte | Mit Kontext | Kleinster Mac |
|---|---|---|---|
| 8 Bit | 595 GB | 643 GB | mehr als jeder Mac |
| 6 Bit | 455 GB | 491 GB | mehr als jeder Mac |
| 4 Bit | 315 GB | 340 GB | 512 GB |
| 3 Bit geringere Qualität | 245 GB | 265 GB | 512 GB |
| 2 Bit geringere Qualität | 175 GB | 189 GB | 256 GB |
Auf jedem Apple-Chip
Die kleinste Speichergröße jedes Chips, mit der Ling 3.1 Flash läuft, die beste Version, die hineinpasst, und das Schreibtempo, das du erwarten kannst.
| Chip | Braucht | Version | Tokens/s |
|---|---|---|---|
| M6 | keine Größe passt | Zu groß | – |
| M5 Ultra | 512 GB | 4 Bit Läuft gut | 38–68 |
| M5 Max | keine Größe passt | Zu groß | – |
| M5 Pro | keine Größe passt | Zu groß | – |
| M5 | keine Größe passt | Zu groß | – |
| M4 Max | keine Größe passt | Zu groß | – |
| M4 Pro | keine Größe passt | Zu groß | – |
| M4 | keine Größe passt | Zu groß | – |
| M3 Ultra | 512 GB | 4 Bit Läuft gut | 26–46 |
| M3 Max | keine Größe passt | Zu groß | – |
| M3 Pro | keine Größe passt | Zu groß | – |
| M3 | keine Größe passt | Zu groß | – |
| M2 Ultra | keine Größe passt | Zu groß | – |
| M2 Max | keine Größe passt | Zu groß | – |
| M2 Pro | keine Größe passt | Zu groß | – |
| M2 | keine Größe passt | Zu groß | – |
| M1 Ultra | keine Größe passt | Zu groß | – |
| M1 Max | keine Größe passt | Zu groß | – |
| M1 Pro | keine Größe passt | Zu groß | – |
| M1 | keine Größe passt | Zu groß | – |
So führst du es aus
- Im Terminal mit Apples MLX: Es gibt noch keinen MLX-Build, und das normale mlx-lm kann die offiziellen Gewichte noch nicht umwandeln (bailing_moe_v3.py).
Schritt für Schritt: LLMs auf den Mac laden und ausführen · So nutzt du MLX Harness · MLX vs. Ollama vs. llama.cpp
Über Ling 3.1 Flash
| Von | inclusionAI |
|---|---|
| Parameter | 560B gesamt · 25B aktiv (Mixture of Experts) |
| Kontext | 256K Tokens |
| Lizenz | MIT |
| Veröffentlicht | 2026-10 |
| Eingabe | Text |
| Intelligenz | 41,1 im Artificial Analysis Intelligence Index |
| Gewichte | inclusionAI/Ling-3.1-flash |
Fragen
- Wie viel Speicher braucht Ling 3.1 Flash?
- Etwa 315 GB für die Gewichte mit 4 Bit, plus Platz für den Kontext: insgesamt 340 GB. Auf einem Mac heißt das 512 GB gemeinsamer Arbeitsspeicher oder mehr, denn macOS lässt die GPU standardmäßig etwa 75 % davon nutzen.
- Wie schnell ist Ling 3.1 Flash auf einem Mac?
- Das Schreibtempo hängt von der Speicherbandbreite ab. Der schnellste Mac dafür ist hier einer mit M5 Ultra und 512 GB, mit etwa 38–68 Tokens pro Sekunde (4 Bit). Der kleinste Mac, der es ausführt, schafft mit 512 GB etwa 38–68 auf dem M5 Ultra.
- Warum läuft Ling 3.1 Flash schneller, als seine Größe vermuten lässt?
- Es ist ein Mixture-of-Experts-Modell: Es hält 560B Parameter im Speicher, liest pro Token aber nur 25B. Darum schreibt es so schnell wie ein viel kleineres Modell.
Ähnliche Modelle
Für deine Model Card oder README
Zeigt den kleinsten Mac, der Ling 3.1 Flash gut ausführt, und verlinkt hierher.
[](https://mlx.app/run/ling-3.1-flash)So wird gerechnet
Speicher: die Parameter des Modells mit 8, 6, 4, 3 oder 2 Bit pro Gewicht plus die Gruppenskalen von MLX (ein halbes Bit pro Gewicht) oder in seinem nativen Format, dazu Platz für den Kontext. Standardmäßig lässt macOS die GPU etwa 75 % des gemeinsamen Arbeitsspeichers nutzen. Tempo: Speicherbandbreite geteilt durch die pro Token gelesenen Bytes ergibt die Obergrenze für eine Unterhaltung; in den öffentlichen Apple Silicon Benchmarks von llama.cpp erreichen echte Läufe etwa 45 % bis 80 % davon, und diese Spanne zeigen wir. Das sind Schätzungen, keine Messungen: Miss deinen eigenen Mac mit MLX Bench. Modellwerte aus der jeweiligen offiziellen Model Card, Chipwerte aus Apples technischen Daten. Geprüft am 2026-10-19. Dieselben Daten wie auf mlx.app/compare.
Offene Daten: mlx.app/data (JSON, CSV)