macOS fm కమాండ్: Terminal లో Apple లోకల్ LLM.

1fm అంటే ఏమిటి

fm అనేది Apple Foundation Models కోసం Apple కమాండ్ లైన్ టూల్, అంటే Apple Intelligence వెనుక ఉన్న మోడళ్లు. Apple తన WWDC26 సెషన్‌లో చెబుతుంది: «Starting from macOS 27, this command line tool comes pre-installed on your Mac»; Terminal తెరిచి fm టైప్ చేస్తే చాలు (Apple). స్క్రిప్టింగ్, ఆటోమేషన్ కోసం Apple దీన్ని అందిస్తుంది, «without writing a line of app code» (Apple).

ఇది రెండు మోడళ్లతో మాట్లాడగలదు. డిఫాల్ట్‌గా «the on-device model that comes with macOS, and that's always available» ను వాడుతుంది. Private Cloud Compute పై ఉన్న Apple Foundation Model ను కూడా వాడగలదు; Apple దాన్ని «a much bigger model than the on-device model» అంటుంది, అది «will perform better on complex problems», అలాగే «has usage limits» (Apple). ఆన్-డివైస్ మోడల్ మీ Mac పై నడుస్తుంది, ఇంటర్నెట్ కనెక్షన్ లేకుండానూ పనిచేస్తుంది (Apple); Private Cloud Compute కి పంపిన ప్రాంప్ట్ Apple సర్వర్లకు వెళ్తుంది.

fm అనేది Apple సాఫ్ట్‌వేర్; దానికీ MLX Network కీ ఏ సంబంధమూ లేదు. MLX Network స్వతంత్ర ప్రాజెక్ట్; Apple తో అనుబంధం లేదు.

2కమాండ్లు

Apple తన WWDC26 సెషన్లలో చూపే కమాండ్లు, ఆప్షన్లు ఇవి (Apple, Apple):

సెషన్ నుంచి Apple సొంత ఉదాహరణలు:

fm respond "Provide a basic regex in Swift to parse an email address"
fm respond "Provide a comprehensive regex in Swift to parse an email address" --model pcc
fm schema object --name AppsIdentified --string app_names --array > schema.json
fm respond "What apps are the user actively using in this screenshot?" \
  --image Screenshot.png --model pcc --schema schema.json
# {"app_names": ["Messages", "Mail", "Calendar"]}
fm respond --help

3ఏం కావాలి, ఎంత డౌన్‌లోడ్ అవుతుంది

• macOS 27. fm దానితోనే వస్తుంది (Apple).
• Apple Intelligence సపోర్ట్ చేసే Mac. Apple Foundation Models కు అది కావాలి (Apple); macOS 27 లో అంటే M1 లేదా కొత్త చిప్ ఉన్న ఏ Mac అయినా (Apple).
• సపోర్ట్ ఉన్న భాష. Apple Intelligence కు డివైస్ భాష, Siri భాష ఒకే సపోర్ట్ ఉన్న భాషలో ఉండాలి; ప్రస్తుతం ప్రధాన భూభాగ చైనాలో కొన్న డివైస్‌లపై ఇది పనిచేయదు (Apple).
• డిస్క్‌పై ఖాళీ స్థలం Apple Intelligence కోసం, కింద చూడండి.

Apple Intelligence ఆన్ చేసిన తర్వాత కొంతసేపు మోడల్ అందుబాటులో లేకపోవచ్చు: Apple ఫ్రేమ్‌వర్క్ అది సిద్ధంగా లేదని చెబుతుంది «because it's downloading or because of other system reasons» (Apple).

అదే ఆన్-డివైస్ మోడల్‌ను వాడే Python SDK కోసం Apple macOS 26.0 లేదా కొత్తది, ఒప్పందం అంగీకరించిన Xcode 26.0 లేదా కొత్తది, Python 3.10 లేదా కొత్తది అని పేర్కొంటుంది (Apple); Apple silicon ఉన్న Mac పై (Apple).

4ఆన్-డివైస్ మోడల్ దేనిలో బాగుంటుంది, ఎక్కడ ఆగుతుంది

Apple స్పష్టంగా చెబుతుంది: సారాంశం, ఎంటిటీల వెలికితీత, టెక్స్ట్ మరియు ఇమేజ్ అవగాహన, రచనను మెరుగుపరచడం, గేమ్ సంభాషణలు, సృజనాత్మక కంటెంట్ తయారీ వంటి అనేక టెక్స్ట్ జనరేషన్ పనుల్లో ఆన్-డివైస్ మోడళ్లు అద్భుతంగా ఉంటాయి; ఎక్కువ తార్కిక సామర్థ్యం, పెద్ద కాంటెక్స్ట్ కావాలంటే Private Cloud Compute లేదా ఏదైనా సర్వర్ మోడల్ ప్రొవైడర్‌ను వాడండి (Apple).

• చిన్న కాంటెక్స్ట్ విండో. Apple డాక్యుమెంటేషన్ ఆన్-డివైస్ మోడల్‌కు «a context window of 4096 tokens per session» ఇస్తుంది (Apple), Private Cloud Compute 32K తో పోలిస్తే 4K అని పేర్కొంటుంది (Apple). macOS 27 పై WWDC26 సెషన్‌లో Apple కోడ్ నమూనా contextSize విలువను 8,192 గా ప్రింట్ చేస్తుంది (Apple). ప్రాంప్ట్, సూచనలు, జవాబు అన్నీ ఈ విండోనే పంచుకుంటాయి.
• ఇందులో ఎంత పడుతుంది. ఇంగ్లీష్‌లో ఒక టోకెన్ సాధారణంగా మూడు నుంచి నాలుగు అక్షరాలు (Apple), కాబట్టి 8,192 టోకెన్లు అంటే ఇన్‌పుట్, అవుట్‌పుట్ కలిపి సుమారు 25,000 నుంచి 33,000 అక్షరాలు: కొన్ని పేజీలు, పుస్తకం లేదా కోడ్‌బేస్ కాదు.
• చిన్న, సరళమైన ప్రాంప్ట్‌లు. «An on-device model has fewer parameters and a small context window», కాబట్టి Apple ప్రాంప్ట్‌లు «short and succinct» గా ఉండాలని కోరుతుంది, ఆన్-డివైస్ మోడళ్లు «have limited reasoning abilities» అంటుంది: కష్టమైన పనిని దశలుగా విభజించండి (Apple).
• ఇది macOS తో మారుతుంది. Apple సిస్టమ్ అప్‌డేట్‌లతో మోడల్‌ను అప్‌డేట్ చేస్తుంది; macOS 27 లో కొత్త వెర్షన్ ఉంది (Apple). అప్‌డేట్ తర్వాత స్క్రిప్ట్ ఫలితాలు మారవచ్చు.

ఈ పేజీల్లో Apple ఆన్-డివైస్ మోడల్ పరిమాణాన్ని చెప్పదు, కాబట్టి మేము కూడా చెప్పము.

5స్క్రిప్ట్‌లు, కోడ్ నుంచి fm వాడటం

fm respond జవాబును ప్రింట్ చేస్తుంది, కాబట్టి ఏ shell స్క్రిప్ట్‌లోనైనా సరిపోతుంది. --schema తో జవాబు JSON అవుతుంది, దాన్ని jq కి పంపవచ్చు. Apple సెషన్ ఇలాగే ఒక ప్రాజెక్ట్ ఫోల్డర్‌ను సర్దుతుంది: ఏ ఫైళ్లు ఫైనల్, ఏవి డ్రాఫ్ట్ అని మోడల్‌ను అడిగి, తర్వాత వాటిని కాపీ చేసి తరలిస్తుంది. Apple నమూనా నుంచి కుదించినది (Apple):

fm schema object --name "TriagedFileList" \
  --string 'final_files' --array \
  --string 'draft_files' --array > /tmp/schema.json

output=$(fm respond \
  --instructions "Return the latest files, then separately all draft files." \
  "This is the list of all files:\n\n${files_list}" \
  --schema /tmp/schema.json
)

echo "${output}" | jq -r '.draft_files[]'

Python కోసం Apple Foundation Models SDK ఉంది, pip install apple_fm_sdk; అదే ఆన్-డివైస్ మోడల్, గైడెడ్ జనరేషన్, టూల్ కాలింగ్‌తో (Apple). Apple ఉదాహరణ:

import apple_fm_sdk as fm

model = fm.SystemLanguageModel()
is_available, reason = model.is_available()
if is_available:
    session = fm.LanguageModelSession(model=model)
    response = await session.respond(prompt="Hello!")
    print(response)

చాలా యాప్‌లు, కోడింగ్ ఏజెంట్లు దానికి బదులుగా లోకల్ పోర్ట్‌పై OpenAI లేదా Anthropic తరహా API ని ఆశిస్తాయి. మీకు అదే కావాలంటే, మీరు ఎంచుకున్న ఓపెన్ మోడల్‌ను mlx_lm.server localhost:8080 వద్ద OpenAI తరహా API ద్వారా అందిస్తుంది (mlx-lm), LM Studio లోకల్ సర్వర్ OpenAI, Anthropic ఫార్మాట్లను అర్థం చేసుకుంటుంది (LM Studio). మరిన్ని ఎంపికలు: Mac పై LLM నడపడానికి ఉత్తమ యాప్‌లు.

6ఓపెన్ మోడల్‌కు ఎప్పుడు మారాలి

చిన్న పనులకు fm సరిపోతుంది: ఒక నోట్ సారాంశం, ఫైల్‌కు పేరు పెట్టడం, టెక్స్ట్ నుంచి ఫీల్డ్‌లు తీయడం, ఒక త్వరిత ప్రశ్న. అది ఇప్పటికే Mac పై ఉంది, సెటప్ అక్కర్లేదు. ఇన్‌పుట్ కొన్ని వేల టోకెన్లలో పట్టనప్పుడు, పనికి ఎక్కువ తర్కం లేదా కోడ్ కావాల్సినప్పుడు, మోడల్‌ను మీరే ఎంచుకోవాలనుకున్నప్పుడు, లేదా ఏదైనా టూల్‌కు API కావాల్సినప్పుడు ఓపెన్ మోడల్ వాడండి.

ఓపెన్ మోడల్ మీ Mac GPU పై నడుస్తుంది; ఏం పడుతుందో యూనిఫైడ్ మెమరీ నిర్ణయిస్తుంది. మా Compare లెక్క డిఫాల్ట్‌గా GPU కి సుమారు 75% ఇస్తుంది, కాంటెక్స్ట్ కోసం స్థలం వదులుతుంది:

ఈ మోడళ్ల కార్డులు చాలా పొడవైన కాంటెక్స్ట్ విండోలను పేర్కొంటాయి, Llama 3.1 8B కు 128K టోకెన్లు, Qwen3.6 35B A3B కు 262,144; అయితే పొడవైన కాంటెక్స్ట్‌కు పైన లెక్కించిన స్థలం కంటే ఎక్కువ మెమరీ కావాలి. మీ Mac లో ఏముందో తెలియదా? Apple మెనూ, «ఈ Mac గురించి», ఆపై చిప్ వారీగా Mac చూడండి.

mlx-lm వాటిని నడపడానికి ఒక మార్గం: Apple సొంత MLX టూల్స్ Hugging Face నుండి MLX మోడల్స్‌ను డౌన్‌లోడ్ చేసి, Terminalలో వాటితో చాట్ చేసి, పైన చెప్పిన లోకల్ APIని అందిస్తాయి. LM Studio, Ollama ఇదే పనిని ఒక యాప్‌లో చేస్తాయి (Mac పై LLM నడపడానికి ఉత్తమ యాప్‌లు). మీరు Macను వాడనప్పుడు, MLX Node మీరు పెట్టిన పరిమితుల లోపల MLX Network కోసం AI జాబ్‌లు నడిపి, ధృవీకరించిన పనికి MLX టోకెన్‌లు సంపాదించగలదు. MLX టోకెన్‌ల విలువ తగ్గవచ్చు; రిస్క్‌లు చదవండి.

7ప్రశ్నలు

macOS fm కమాండ్ ఉచితమా?

ఇది macOS 27 లో ముందే ఇన్‌స్టాల్ అయి వస్తుంది, డిఫాల్ట్‌గా macOS తో వచ్చే ఆన్-డివైస్ మోడల్‌ను వాడుతుంది. పెద్ద Private Cloud Compute మోడల్‌కు వాడక పరిమితులు ఉన్నాయి (Apple).

fm ఆఫ్‌లైన్‌లో పనిచేస్తుందా?

ఆన్-డివైస్ మోడల్‌తో, అవును: ఇంటర్నెట్ కనెక్షన్ లేకుండా పనిచేస్తుందని Apple చెబుతుంది (Apple). ముందుగా Apple Intelligence డౌన్‌లోడ్ కావాలి; --model pcc లేదా fm chat లోని /model Apple సర్వర్లను వాడతాయి.

fm ఎంత పొడవైన ప్రాంప్ట్ తీసుకోగలదు?

ప్రాంప్ట్, సూచనలు, జవాబు ఒకే కాంటెక్స్ట్ విండోను పంచుకుంటాయి: Apple డాక్యుమెంటేషన్‌లో 4,096 టోకెన్లు, macOS 27 కోసం Apple WWDC26 నమూనాలో 8,192 (Apple). ఇంగ్లీష్‌లో అది ఒక్కో టోకెన్‌కు సుమారు మూడు నుంచి నాలుగు అక్షరాలు.

fm OpenAI-అనుకూల API ని ఇస్తుందా?

Apple WWDC26 సెషన్లు, మేము చదివిన Foundation Models డాక్యుమెంటేషన్ సర్వర్ మోడ్‌ను వివరించవు, కాబట్టి అది ఎలా పనిచేస్తుందో మేము నిర్ధారించలేము. డాక్యుమెంట్ చేసిన లోకల్ API కోసం, mlx_lm.server ఓపెన్ మోడళ్లను localhost:8080 లో OpenAI తరహాలో అందిస్తుంది, LM Studio OpenAI, Anthropic ఫార్మాట్లలో అందిస్తుంది.

ఏ Mac లు fm వాడగలవు?

Apple Intelligence సపోర్ట్ చేసే macOS 27 Mac లు: M1 లేదా కొత్త చిప్ ఉన్న ఏ Mac అయినా, సపోర్ట్ ఉన్న భాషలో సెట్ చేసి, 14 GB వరకు (M3 లేదా కొత్తది, 12 GB లేదా ఎక్కువ మెమరీతో) లేదా 8 GB వరకు ఖాళీ స్టోరేజ్‌తో (Apple).