Ang fm command ng macOS: ang lokal na LLM ng Apple sa Terminal.

1Ano ang fm

Ang fm ay command line tool ng Apple para sa Apple Foundation Models, ang mga model sa likod ng Apple Intelligence. "Starting from macOS 27, this command line tool comes pre-installed on your Mac," sabi ng Apple sa WWDC26 session nito tungkol dito; buksan mo lang ang Terminal at i-type ang fm (Apple). Inaalok ito ng Apple para sa scripting at automation "without writing a line of app code" (Apple).

Dalawang model ang kaya nitong kausapin. Bilang default, ginagamit nito ang "the on-device model that comes with macOS, and that's always available". Kaya rin nitong gamitin ang Apple Foundation Model sa Private Cloud Compute, na tinatawag ng Apple na "a much bigger model than the on-device model" na "will perform better on complex problems" at "has usage limits" (Apple). Tumatakbo ang on-device model sa Mac mo at gumagana kahit walang internet (Apple); ang prompt na ipinadala sa Private Cloud Compute ay napupunta sa mga server ng Apple.

Software ng Apple ang fm at walang kinalaman sa MLX Network. Independiyente ang MLX Network at hindi kaanib ng Apple.

2Ang mga command

Ito ang mga command at option na ipinapakita ng Apple sa mga WWDC26 session nito (Apple, Apple):

Ang sariling mga halimbawa ng Apple, mula sa session:

fm respond "Provide a basic regex in Swift to parse an email address"
fm respond "Provide a comprehensive regex in Swift to parse an email address" --model pcc
fm schema object --name AppsIdentified --string app_names --array > schema.json
fm respond "What apps are the user actively using in this screenshot?" \
  --image Screenshot.png --model pcc --schema schema.json
# {"app_names": ["Messages", "Mail", "Calendar"]}
fm respond --help

3Ang kailangan mo, at gaano kalaki ang dina-download

• macOS 27. Kasama na rito ang fm (Apple).
• Mac na sumusuporta sa Apple Intelligence. Kailangan ito ng Apple Foundation Models (Apple); sa macOS 27, ito ang kahit anong Mac na may M1 o mas bago (Apple).
• Suportadong wika. Kailangan ng Apple Intelligence na pareho at suportado ang wika ng device at ang wika ng Siri, at sa ngayon ay hindi ito gumagana sa mga device na binili sa mainland China (Apple).
• Bakanteng disk space para sa Apple Intelligence, nasa ibaba.

Puwedeng hindi pa magamit ang model nang ilang sandali pagkatapos mong i-on ang Apple Intelligence: iniuulat ng framework ng Apple na hindi pa ito handa "because it's downloading or because of other system reasons" (Apple).

Para sa Python SDK, na gumagamit ng parehong on-device model, inililista ng Apple ang macOS 26.0 o mas bago, Xcode 26.0 o mas bago na tinanggap na ang agreement, at Python 3.10 o mas bago (Apple), sa isang Mac na may Apple silicon (Apple).

4Saan magaling ang on-device model, at saan ito humihinto

Diretso ang Apple tungkol dito: mahusay ang mga on-device model sa maraming text generation na gawain, gaya ng pagbubuod, pagkuha ng mga entity, pag-unawa sa text at larawan, pagpapakinis ng sulat, dialog para sa mga laro, at paggawa ng creative na content; kapag kailangan mo ng mas malakas na reasoning at mas malaking context, gamitin ang Private Cloud Compute o kahit anong server model provider (Apple).

• Maliit na context window. Binibigyan ng dokumentasyon ng Apple ang on-device model ng "a context window of 4096 tokens per session" (Apple) at inililista ang 4K laban sa 32K para sa Private Cloud Compute (Apple). Sa WWDC26 session nito tungkol sa macOS 27, nagpi-print ang code sample ng Apple ng contextSize na 8,192 (Apple). Hati sa window na iyon ang prompt, mga instruction at sagot.
• Gaano karami ang kasya. Sa English, karaniwang tatlo hanggang apat na character ang isang token (Apple), kaya ang 8,192 token ay mga 25,000 hanggang 33,000 character ng input at output nang magkasama: ilang pahina, hindi isang libro o codebase.
• Maikli at simpleng prompt. "An on-device model has fewer parameters and a small context window," kaya humihingi ang Apple ng mga prompt na "short and succinct" at sinasabing ang mga on-device model ay "have limited reasoning abilities": hatiin sa mga hakbang ang mahirap na gawain (Apple).
• Nagbabago ito kasabay ng macOS. Ina-update ng Apple ang model sa mga OS update; may bagong bersyon sa macOS 27 (Apple). Puwedeng mag-iba ang resulta ng isang script pagkatapos ng update.

Hindi ibinibigay ng Apple ang laki ng on-device model sa mga pahinang ito, kaya hindi rin namin ibinibigay.

5Paggamit ng fm sa mga script at code

Ipinapi-print ng fm respond ang sagot, kaya puwede itong isingit sa kahit anong shell script. Sa --schema, JSON ang sagot na puwede mong ipasa sa jq. Ganito inaayos ng session ng Apple ang isang project folder: tinatanong ang model kung aling mga file ang final at alin ang draft, saka kinokopya at inililipat ang mga ito. Pinaikli mula sa sample ng Apple (Apple):

fm schema object --name "TriagedFileList" \
  --string 'final_files' --array \
  --string 'draft_files' --array > /tmp/schema.json

output=$(fm respond \
  --instructions "Return the latest files, then separately all draft files." \
  "This is the list of all files:\n\n${files_list}" \
  --schema /tmp/schema.json
)

echo "${output}" | jq -r '.draft_files[]'

Para sa Python, may Foundation Models SDK ang Apple, pip install apple_fm_sdk, na may parehong on-device model, guided generation at tool calling (Apple). Ang halimbawa ng Apple:

import apple_fm_sdk as fm

model = fm.SystemLanguageModel()
is_available, reason = model.is_available()
if is_available:
    session = fm.LanguageModelSession(model=model)
    response = await session.respond(prompt="Hello!")
    print(response)

Maraming app at coding agent ang umaasa sa halip sa API na istilong OpenAI o Anthropic sa isang lokal na port. Kung iyan ang kailangan mo, sine-serve ng mlx_lm.server ang open model na pinili mo sa API na istilong OpenAI sa localhost:8080 (mlx-lm), at sinusuportahan ng lokal na server ng LM Studio ang mga format ng OpenAI at Anthropic (LM Studio). Iba pang opsyon: ang pinakamahusay na mga app para magpatakbo ng LLM sa Mac.

6Kailan lilipat sa open model

Gamitin ang fm sa maiikling trabaho: pagbubuod ng note, pagpapangalan ng file, pagkuha ng mga field mula sa text, isang mabilis na tanong. Nasa Mac na ito at hindi na kailangang i-set up. Gumamit ng open model kapag hindi kasya ang input sa ilang libong token, kapag kailangan ng gawain ng mas maraming reasoning o code, kapag gusto mong pumili ng model, o kapag kailangan ng isang tool ng API.

Tumatakbo ang open model sa GPU ng Mac mo, at ang unified memory ang nagtatakda kung ano ang kasya. Binibigyan ng aming Compare na kalkulasyon ang GPU ng mga 75% bilang default at nag-iiwan ng puwang para sa context:

Mas mahahabang context window ang nakalista sa mga card ng mga model na ito, 128K token para sa Llama 3.1 8B at 262,144 para sa Qwen3.6 35B A3B, pero kailangan ng mahabang context ng memory na lampas sa puwang na binilang sa itaas. Hindi sigurado kung ano ang mayroon ang Mac mo? Apple menu, About This Mac, saka tingnan ang mga Mac ayon sa chip.

Isang paraan para patakbuhin sila ang mlx-lm: dina-download ng sariling MLX tools ng Apple ang mga MLX model mula sa Hugging Face, nakikipag-chat sa kanila sa Terminal at sine-serve ang lokal na API sa itaas. Ganoon din ang ginagawa ng LM Studio at Ollama sa isang app (ang pinakamahusay na mga app para magpatakbo ng LLM sa Mac). Kapag hindi mo ginagamit ang Mac, makakapagpatakbo ang MLX Node ng mga AI job para sa MLX Network sa loob ng mga limitasyong itinakda mo at kumikita ng MLX tokens para sa beripikadong trabaho. Puwedeng mawalan ng halaga ang MLX tokens; basahin ang mga panganib.

7Mga tanong

Libre ba ang fm command ng macOS?

Naka-preinstall ito sa macOS 27 at bilang default ay ginagamit ang on-device model na kasama ng macOS. May usage limit ang mas malaking Private Cloud Compute model (Apple).

Gumagana ba ang fm nang offline?

Sa on-device model, oo: sabi ng Apple, gumagana ito kahit walang internet (Apple). Kailangan munang ma-download ang Apple Intelligence, at gumagamit ng mga server ng Apple ang --model pcc o ang /model sa fm chat.

Gaano kahaba ang prompt na kaya ng fm?

Iisang context window ang pinaghahatian ng prompt, mga instruction at sagot: 4,096 token sa dokumentasyon ng Apple at 8,192 sa WWDC26 sample ng Apple para sa macOS 27 (Apple). Sa English, mga tatlo hanggang apat na character iyon bawat token.

May OpenAI-compatible API ba ang fm?

Hindi naglalarawan ng server mode ang mga WWDC26 session ng Apple at ang dokumentasyon ng Foundation Models na nabasa namin, kaya hindi namin makumpirma kung paano ito gumagana. Para sa dokumentadong lokal na API, sine-serve ng mlx_lm.server ang mga open model sa localhost:8080 sa istilong OpenAI, at ng LM Studio sa mga format ng OpenAI at Anthropic.

Aling mga Mac ang puwedeng gumamit ng fm?

Mga Mac na naka-macOS 27 na sumusuporta sa Apple Intelligence: kahit anong Mac na may M1 o mas bago, naka-set sa suportadong wika, na may hanggang 14 GB (M3 o mas bago na may 12 GB o higit pa) o hanggang 8 GB na bakanteng storage (Apple).