Amri ya fm ya macOS: LLM ya ndani ya Apple kwenye Terminal.

1fm ni nini

fm ni zana ya mstari wa amri ya Apple kwa Apple Foundation Models, modeli zilizo nyuma ya Apple Intelligence. "Starting from macOS 27, this command line tool comes pre-installed on your Mac," Apple inasema katika kipindi chake cha WWDC26 kuhusu zana hii; unafungua Terminal na kuandika fm (Apple). Apple inaitangaza kwa skripti na uendeshaji wa kiotomatiki "without writing a line of app code" (Apple).

Inaweza kuzungumza na modeli mbili. Kwa chaguo-msingi inatumia "the on-device model that comes with macOS, and that's always available". Inaweza pia kutumia Apple Foundation Model kwenye Private Cloud Compute, ambayo Apple inaiita "a much bigger model than the on-device model" ambayo "will perform better on complex problems" na "has usage limits" (Apple). Modeli ya kwenye kifaa inaendeshwa kwenye Mac yako na inafanya kazi bila muunganisho wa intaneti (Apple); swali linalotumwa kwa Private Cloud Compute linaenda kwenye seva za Apple.

fm ni programu ya Apple na haihusiani kwa vyovyote na MLX Network. MLX Network ni huru na haihusiani na Apple.

2Amri

Hizi ndizo amri na chaguo ambazo Apple inaonyesha katika vipindi vyake vya WWDC26 (Apple, Apple):

Mifano ya Apple yenyewe, kutoka kipindi hicho:

fm respond "Provide a basic regex in Swift to parse an email address"
fm respond "Provide a comprehensive regex in Swift to parse an email address" --model pcc
fm schema object --name AppsIdentified --string app_names --array > schema.json
fm respond "What apps are the user actively using in this screenshot?" \
  --image Screenshot.png --model pcc --schema schema.json
# {"app_names": ["Messages", "Mail", "Calendar"]}
fm respond --help

3Unachohitaji, na inapakua kiasi gani

• macOS 27. fm inakuja nayo (Apple).
• Mac inayotumia Apple Intelligence. Apple Foundation Models zinaihitaji (Apple); kwenye macOS 27 hiyo ni Mac yoyote yenye M1 au mpya zaidi (Apple).
• Lugha inayotumika. Apple Intelligence inahitaji lugha ya kifaa na lugha ya Siri ziwekwe kwenye lugha moja inayotumika, na kwa sasa haifanyi kazi kwenye vifaa vilivyonunuliwa China bara (Apple).
• Nafasi wazi ya diski kwa Apple Intelligence, hapa chini.

Modeli inaweza kukosa kupatikana kwa muda baada ya kuwasha Apple Intelligence: mfumo wa Apple unaripoti kuwa bado haiko tayari "because it's downloading or because of other system reasons" (Apple).

Kwa SDK ya Python, inayotumia modeli ile ile ya kwenye kifaa, Apple inaorodhesha macOS 26.0 au mpya zaidi, Xcode 26.0 au mpya zaidi ikiwa makubaliano yake yamekubaliwa, na Python 3.10 au mpya zaidi (Apple), kwenye Mac yenye Apple silicon (Apple).

4Modeli ya kwenye kifaa ni hodari kwa nini, na inaishia wapi

Apple inasema wazi: modeli za kwenye kifaa ni bora kwa kazi nyingi za kutunga maandishi, kama kufupisha, kutoa vitu muhimu kutoka maandishi, kuelewa maandishi na picha, kuboresha maandishi, mazungumzo ya michezo, na kutunga maudhui ya ubunifu; unapohitaji uwezo zaidi wa kufikiri na muktadha mkubwa zaidi, tumia Private Cloud Compute au mtoa huduma yeyote wa modeli za seva (Apple).

• Dirisha dogo la muktadha. Nyaraka za Apple zinaipa modeli ya kwenye kifaa "a context window of 4096 tokens per session" (Apple) na zinaorodhesha 4K dhidi ya 32K kwa Private Cloud Compute (Apple). Katika kipindi cha WWDC26 kuhusu macOS 27, sampuli ya msimbo ya Apple inachapisha contextSize ya 8,192 (Apple). Swali, maelekezo na jibu vyote vinashiriki dirisha hilo.
• Kinachotosha. Kwa Kiingereza tokeni moja kwa kawaida ni herufi tatu hadi nne (Apple), kwa hivyo tokeni 8,192 ni takriban herufi 25,000 hadi 33,000 za kuingiza na kutoa kwa pamoja: kurasa chache, si kitabu wala msingi wa msimbo.
• Maswali mafupi na rahisi. "An on-device model has fewer parameters and a small context window," kwa hivyo Apple inaomba maswali yawe "short and succinct" na inasema modeli za kwenye kifaa "have limited reasoning abilities": gawanya kazi ngumu katika hatua (Apple).
• Inabadilika pamoja na macOS. Apple inasasisha modeli kupitia masasisho ya mfumo; macOS 27 ina toleo jipya (Apple). Matokeo ya skripti yanaweza kubadilika baada ya sasisho.

Apple haitoi ukubwa wa modeli ya kwenye kifaa kwenye kurasa hizi, kwa hivyo nasi hatutoi.

5Kutumia fm kutoka skripti na msimbo

fm respond inachapisha jibu, kwa hivyo inaingia kwenye skripti yoyote ya shell. Ukiwa na --schema jibu ni JSON unayoweza kupitisha kwa jq. Kipindi cha Apple kinapanga folda ya mradi kwa njia hii: kinauliza modeli ni faili zipi za mwisho na zipi ni rasimu, kisha kinazinakili na kuzihamisha. Imefupishwa kutoka sampuli ya Apple (Apple):

fm schema object --name "TriagedFileList" \
  --string 'final_files' --array \
  --string 'draft_files' --array > /tmp/schema.json

output=$(fm respond \
  --instructions "Return the latest files, then separately all draft files." \
  "This is the list of all files:\n\n${files_list}" \
  --schema /tmp/schema.json
)

echo "${output}" | jq -r '.draft_files[]'

Kwa Python kuna Foundation Models SDK ya Apple, pip install apple_fm_sdk, yenye modeli ile ile ya kwenye kifaa, utungaji unaoongozwa na kuita zana (Apple). Mfano wa Apple:

import apple_fm_sdk as fm

model = fm.SystemLanguageModel()
is_available, reason = model.is_available()
if is_available:
    session = fm.LanguageModelSession(model=model)
    response = await session.respond(prompt="Hello!")
    print(response)

Programu nyingi na mawakala wa kuandika msimbo hutarajia badala yake API ya mtindo wa OpenAI au Anthropic kwenye mlango wa ndani. Ikiwa hilo ndilo unalohitaji, mlx_lm.server inatoa modeli huria unayochagua kupitia API ya mtindo wa OpenAI kwenye localhost:8080 (mlx-lm), na seva ya ndani ya LM Studio inazungumza miundo ya OpenAI na Anthropic (LM Studio). Chaguo zaidi: programu bora za kuendesha LLM kwenye Mac.

6Lini kuhamia modeli huria

Baki na fm kwa kazi fupi: kufupisha dokezo, kutaja faili, kutoa sehemu kutoka maandishi, swali la haraka. Tayari iko kwenye Mac na haihitaji kusanidiwa. Tumia modeli huria wakati maingizo hayatoshi katika tokeni elfu chache, wakati kazi inahitaji kufikiri zaidi au msimbo, wakati unataka kuchagua modeli, au wakati zana inahitaji API.

Modeli huria inaendeshwa kwenye GPU ya Mac yako, na kinachotosha kinaamuliwa na kumbukumbu iliyounganishwa. Hesabu yetu ya Compare inaipa GPU takriban 75% kwa chaguo-msingi na inaacha nafasi kwa muktadha:

Modeli hizi zinaorodhesha madirisha marefu zaidi ya muktadha kwenye kadi zao, tokeni 128K kwa Llama 3.1 8B na 262,144 kwa Qwen3.6 35B A3B, ingawa muktadha mrefu unahitaji kumbukumbu zaidi ya nafasi iliyohesabiwa hapo juu. Huna uhakika Mac yako ina nini? Menyu ya Apple, Kuhusu Mac Hii, kisha tazama Mac kwa chipu.

mlx-lm ni njia moja ya kuziendesha: zana za MLX za Apple yenyewe hupakua modeli za MLX kutoka Hugging Face, huzungumza nazo kwenye Terminal na hutoa API ya ndani iliyotajwa juu. LM Studio na Ollama hufanya vivyo hivyo ndani ya programu (programu bora za kuendesha LLM kwenye Mac). Usipotumia Mac, MLX Node inaweza kuendesha kazi za AI kwa MLX Network ndani ya mipaka unayoweka na hupata tokeni za MLX kwa kazi iliyothibitishwa. Tokeni za MLX zinaweza kupoteza thamani; soma hatari.

7Maswali

Je, amri ya fm ya macOS ni ya bure?

Imesakinishwa tayari kwenye macOS 27 na kwa chaguo-msingi inatumia modeli ya kwenye kifaa inayokuja na macOS. Modeli kubwa zaidi ya Private Cloud Compute ina mipaka ya matumizi (Apple).

Je, fm inafanya kazi bila mtandao?

Kwa modeli ya kwenye kifaa, ndiyo: Apple inasema inafanya kazi bila muunganisho wa intaneti (Apple). Apple Intelligence lazima ipakuliwe kwanza, na --model pcc au /model ndani ya fm chat zinatumia seva za Apple.

fm inaweza kupokea swali refu kiasi gani?

Swali, maelekezo na jibu vinashiriki dirisha moja la muktadha: tokeni 4,096 kwenye nyaraka za Apple na 8,192 kwenye sampuli ya Apple ya WWDC26 kwa macOS 27 (Apple). Kwa Kiingereza hiyo ni takriban herufi tatu hadi nne kwa kila tokeni.

Je, fm inatoa API inayoendana na OpenAI?

Vipindi vya Apple vya WWDC26 na nyaraka za Foundation Models tulizosoma haviielezi hali ya seva, kwa hivyo hatuwezi kuthibitisha jinsi inavyofanya kazi. Kwa API ya ndani yenye nyaraka, mlx_lm.server inatoa modeli huria kwenye localhost:8080 kwa mtindo wa OpenAI, na LM Studio katika miundo ya OpenAI na Anthropic.

Ni Mac zipi zinaweza kutumia fm?

Mac zenye macOS 27 zinazotumia Apple Intelligence: Mac yoyote yenye M1 au mpya zaidi, iliyowekwa kwenye lugha inayotumika, yenye hadi GB 14 (M3 au mpya zaidi yenye GB 12 au zaidi) au hadi GB 8 za hifadhi wazi (Apple).