Der macOS-Befehl fm: Apples lokales LLM im Terminal.

1Was fm ist

fm ist Apples Kommandozeilen-Tool für Apple Foundation Models, die Modelle hinter Apple Intelligence. „Starting from macOS 27, this command line tool comes pre-installed on your Mac“, sagt Apple in seiner WWDC26-Session dazu; du öffnest das Terminal und gibst fm ein (Apple). Apple bewirbt es für Skripte und Automatisierung, „without writing a line of app code“ (Apple).

Es kann mit zwei Modellen arbeiten. Standardmäßig nutzt es „the on-device model that comes with macOS, and that's always available“. Es kann auch das Apple Foundation Model in Private Cloud Compute nutzen, das Apple „a much bigger model than the on-device model“ nennt, das „will perform better on complex problems“ und „has usage limits“ (Apple). Das Modell auf dem Gerät läuft auf deinem Mac und funktioniert ohne Internetverbindung (Apple); ein Prompt an Private Cloud Compute geht an Apples Server.

fm ist Software von Apple und hat nichts mit MLX Network zu tun. MLX Network ist unabhängig und nicht mit Apple verbunden.

2Die Befehle

Diese Befehle und Optionen zeigt Apple in seinen WWDC26-Sessions (Apple, Apple):

Apples eigene Beispiele aus der Session:

fm respond "Provide a basic regex in Swift to parse an email address"
fm respond "Provide a comprehensive regex in Swift to parse an email address" --model pcc
fm schema object --name AppsIdentified --string app_names --array > schema.json
fm respond "What apps are the user actively using in this screenshot?" \
  --image Screenshot.png --model pcc --schema schema.json
# {"app_names": ["Messages", "Mail", "Calendar"]}
fm respond --help

3Was du brauchst und wie viel es lädt

• macOS 27. fm ist dabei (Apple).
• Einen Mac, der Apple Intelligence unterstützt. Apple Foundation Models brauchen ihn (Apple); unter macOS 27 ist das jeder Mac mit M1 oder neuer (Apple).
• Eine unterstützte Sprache. Für Apple Intelligence müssen Gerätesprache und Siri-Sprache auf dieselbe unterstützte Sprache eingestellt sein, und derzeit funktioniert es nicht auf Geräten, die in Festlandchina gekauft wurden (Apple).
• Freien Speicherplatz für Apple Intelligence, siehe unten.

Nachdem du Apple Intelligence eingeschaltet hast, kann das Modell eine Weile nicht verfügbar sein: Apples Framework meldet es als nicht bereit, „because it's downloading or because of other system reasons“ (Apple).

Für das Python-SDK, das dasselbe Modell auf dem Gerät nutzt, nennt Apple macOS 26.0 oder neuer, Xcode 26.0 oder neuer mit akzeptierter Lizenzvereinbarung und Python 3.10 oder neuer (Apple), auf einem Mac mit Apple Silicon (Apple).

4Was das Modell auf dem Gerät gut kann und wo es aufhört

Apple sagt es deutlich: Modelle auf dem Gerät sind stark bei vielen Aufgaben der Textgenerierung, etwa Zusammenfassen, Entitäten herausziehen, Text- und Bildverständnis, Überarbeiten, Dialoge für Spiele und kreative Inhalte; wenn du mehr Denkvermögen und mehr Kontext brauchst, nimm Private Cloud Compute oder einen beliebigen Anbieter von Servermodellen (Apple).

• Ein kleines Kontextfenster. Apples Dokumentation gibt dem Modell auf dem Gerät „a context window of 4096 tokens per session“ (Apple) und nennt 4K gegenüber 32K für Private Cloud Compute (Apple). In Apples WWDC26-Session zu macOS 27 gibt das Codebeispiel eine contextSize von 8.192 aus (Apple). Prompt, Anweisungen und Antwort teilen sich dieses Fenster.
• Was hineinpasst. Im Englischen hat ein Token meist drei bis vier Zeichen (Apple), 8.192 Tokens sind also grob 25.000 bis 33.000 Zeichen Ein- und Ausgabe zusammen: ein paar Seiten, kein Buch und keine Codebasis.
• Kurze, einfache Prompts. „An on-device model has fewer parameters and a small context window“, daher wünscht sich Apple Prompts, die „short and succinct“ sind, und sagt, Modelle auf dem Gerät „have limited reasoning abilities“: Teile eine schwierige Aufgabe in Schritte (Apple).
• Es ändert sich mit macOS. Apple aktualisiert das Modell mit Systemupdates; macOS 27 hat eine neue Version (Apple). Die Ergebnisse eines Skripts können sich nach einem Update verschieben.

Apple nennt auf diesen Seiten nicht die Größe des Modells auf dem Gerät, also tun wir es auch nicht.

5fm in Skripten und Code nutzen

fm respond gibt die Antwort aus und passt daher in jedes Shell-Skript. Mit --schema ist die Antwort JSON, das du an jq weitergeben kannst. Apples Session sortiert so einen Projektordner: Sie fragt das Modell, welche Dateien final und welche Entwürfe sind, und kopiert und verschiebt sie dann. Gekürzt aus Apples Beispiel (Apple):

fm schema object --name "TriagedFileList" \
  --string 'final_files' --array \
  --string 'draft_files' --array > /tmp/schema.json

output=$(fm respond \
  --instructions "Return the latest files, then separately all draft files." \
  "This is the list of all files:\n\n${files_list}" \
  --schema /tmp/schema.json
)

echo "${output}" | jq -r '.draft_files[]'

Für Python gibt es Apples Foundation Models SDK, pip install apple_fm_sdk, mit demselben Modell auf dem Gerät, geführter Generierung und Tool-Aufrufen (Apple). Apples Beispiel:

import apple_fm_sdk as fm

model = fm.SystemLanguageModel()
is_available, reason = model.is_available()
if is_available:
    session = fm.LanguageModelSession(model=model)
    response = await session.respond(prompt="Hello!")
    print(response)

Viele Apps und Coding-Agenten erwarten stattdessen eine API im Stil von OpenAI oder Anthropic auf einem lokalen Port. Wenn du das brauchst, stellt mlx_lm.server ein offenes Modell deiner Wahl über eine API im OpenAI-Stil unter localhost:8080 bereit (mlx-lm), und der lokale Server von LM Studio spricht die Formate von OpenAI und Anthropic (LM Studio). Weitere Optionen: die besten Apps, um LLMs auf dem Mac auszuführen.

6Wann du zu einem offenen Modell wechselst

Bleib bei fm für kurze Aufgaben: eine Notiz zusammenfassen, eine Datei benennen, Felder aus Text ziehen, eine schnelle Frage. Es ist schon auf dem Mac und braucht keine Einrichtung. Greif zu einem offenen Modell, wenn die Eingabe nicht in ein paar tausend Tokens passt, wenn die Aufgabe mehr Denkvermögen oder Code braucht, wenn du das Modell selbst wählen willst oder wenn ein Tool eine API braucht.

Ein offenes Modell läuft auf der GPU deines Macs, und was passt, bestimmt der gemeinsame Arbeitsspeicher. Unsere Rechnung auf Compare gibt der GPU standardmäßig etwa 75 % davon und lässt Platz für den Kontext:

Diese Modelle nennen auf ihren Model Cards viel längere Kontextfenster, 128K Tokens für Llama 3.1 8B und 262.144 für Qwen3.6 35B A3B, allerdings braucht ein langer Kontext Speicher über den oben eingerechneten Platz hinaus. Du weißt nicht, was dein Mac hat? Apple-Menü, „Über diesen Mac“, dann sieh dir Macs nach Chip an.

mlx-lm ist eine Möglichkeit, sie auszuführen: Apples eigene MLX-Tools laden MLX-Modelle von Hugging Face, chatten mit ihnen im Terminal und stellen die lokale API von oben bereit. LM Studio und Ollama tun dasselbe in einer App (die besten Apps für LLMs auf dem Mac). Wenn du den Mac nicht nutzt, kann MLX Node innerhalb deiner Grenzen KI-Aufträge für MLX Network ausführen und verdient MLX Tokens für geprüfte Arbeit. MLX Tokens können an Wert verlieren; lies die Risiken.

7Fragen

Ist der macOS-Befehl fm kostenlos?

Er ist in macOS 27 vorinstalliert und nutzt standardmäßig das Modell auf dem Gerät, das mit macOS kommt. Das größere Modell in Private Cloud Compute hat Nutzungsgrenzen (Apple).

Funktioniert fm offline?

Mit dem Modell auf dem Gerät ja: Laut Apple funktioniert es ohne Internetverbindung (Apple). Apple Intelligence muss zuerst geladen werden, und --model pcc oder /model in fm chat nutzen Apples Server.

Wie lang darf ein Prompt für fm sein?

Prompt, Anweisungen und Antwort teilen sich ein Kontextfenster: 4.096 Tokens in Apples Dokumentation und 8.192 in Apples WWDC26-Beispiel für macOS 27 (Apple). Im Englischen sind das grob drei bis vier Zeichen pro Token.

Stellt fm eine OpenAI-kompatible API bereit?

Apples WWDC26-Sessions und die Foundation-Models-Dokumentation, die wir gelesen haben, beschreiben keinen Servermodus, daher können wir nicht bestätigen, wie einer funktioniert. Für eine dokumentierte lokale API stellt mlx_lm.server offene Modelle unter localhost:8080 im OpenAI-Stil bereit, und LM Studio in den Formaten von OpenAI und Anthropic.

Welche Macs können fm nutzen?

Macs mit macOS 27, die Apple Intelligence unterstützen: jeder Mac mit M1 oder neuer, auf eine unterstützte Sprache eingestellt, mit bis zu 14 GB (M3 oder neuer mit 12 GB oder mehr) oder bis zu 8 GB freiem Speicherplatz (Apple).