macOS ची fm कमांड: Terminal मधले Apple चे लोकल LLM.

1fm म्हणजे काय

fm हे Apple Foundation Models साठी Apple चे कमांड लाइन टूल आहे, म्हणजे Apple Intelligence मागची मॉडेल. Apple आपल्या WWDC26 सेशनमध्ये म्हणते: «Starting from macOS 27, this command line tool comes pre-installed on your Mac»; Terminal उघडा आणि fm लिहा (Apple). Apple ते स्क्रिप्टिंग आणि ऑटोमेशनसाठी सादर करते, «without writing a line of app code» (Apple).

ते दोन मॉडेलशी बोलू शकते. डिफॉल्टने ते «the on-device model that comes with macOS, and that's always available» वापरते. ते Private Cloud Compute वरचे Apple Foundation Model ही वापरू शकते, ज्याला Apple «a much bigger model than the on-device model» म्हणते, जे «will perform better on complex problems» आणि ज्याला «has usage limits» (Apple). ऑन-डिव्हाइस मॉडेल तुमच्या Mac वर चालते आणि इंटरनेट कनेक्शनशिवाय काम करते (Apple); Private Cloud Compute ला पाठवलेला प्रॉम्प्ट Apple च्या सर्व्हरवर जातो.

fm हे Apple चे सॉफ्टवेअर आहे आणि त्याचा MLX Network शी काहीही संबंध नाही. MLX Network हा स्वतंत्र प्रकल्प आहे आणि Apple शी संलग्न नाही.

2कमांड

Apple आपल्या WWDC26 सेशनमध्ये दाखवते त्या कमांड आणि पर्याय (Apple, Apple):

सेशनमधील Apple ची स्वतःची उदाहरणे:

fm respond "Provide a basic regex in Swift to parse an email address"
fm respond "Provide a comprehensive regex in Swift to parse an email address" --model pcc
fm schema object --name AppsIdentified --string app_names --array > schema.json
fm respond "What apps are the user actively using in this screenshot?" \
  --image Screenshot.png --model pcc --schema schema.json
# {"app_names": ["Messages", "Mail", "Calendar"]}
fm respond --help

3काय लागते, आणि किती डाउनलोड होते

• macOS 27. fm त्यासोबत येते (Apple).
• Apple Intelligence सपोर्ट करणारा Mac. Apple Foundation Models ला तो लागतो (Apple); macOS 27 वर म्हणजे M1 किंवा नवीन चिप असलेला कोणताही Mac (Apple).
• सपोर्टेड भाषा. Apple Intelligence साठी डिव्हाइसची भाषा आणि Siri ची भाषा एकच सपोर्टेड भाषा असावी लागते, आणि सध्या ते मुख्य भूभागातील चीनमध्ये विकत घेतलेल्या डिव्हाइसवर चालत नाही (Apple).
• डिस्कवर मोकळी जागा Apple Intelligence साठी, खाली पाहा.

Apple Intelligence चालू केल्यानंतर मॉडेल काही वेळ उपलब्ध नसू शकते: Apple चे फ्रेमवर्क ते तयार नाही असे सांगते «because it's downloading or because of other system reasons» (Apple).

हेच ऑन-डिव्हाइस मॉडेल वापरणाऱ्या Python SDK साठी Apple macOS 26.0 किंवा नवीन, करार स्वीकारलेले Xcode 26.0 किंवा नवीन, आणि Python 3.10 किंवा नवीन सांगते (Apple), Apple silicon असलेल्या Mac वर (Apple).

4ऑन-डिव्हाइस मॉडेल कशात चांगले आहे, आणि कुठे थांबते

Apple स्पष्ट सांगते: ऑन-डिव्हाइस मॉडेल मजकूर तयार करण्याच्या अनेक कामांत उत्तम आहेत, जसे सारांश, एंटिटी काढणे, मजकूर आणि इमेज समजणे, लेखन सुधारणे, गेमचे संवाद आणि सर्जनशील कंटेंट तयार करणे; जेव्हा जास्त तर्कक्षमता आणि मोठे कॉन्टेक्स्ट हवे असेल, तेव्हा Private Cloud Compute किंवा कोणताही सर्व्हर मॉडेल प्रदाता वापरा (Apple).

• लहान कॉन्टेक्स्ट विंडो. Apple चे दस्तऐवज ऑन-डिव्हाइस मॉडेलला «a context window of 4096 tokens per session» देतात (Apple) आणि Private Cloud Compute च्या 32K विरुद्ध 4K नोंदवतात (Apple). macOS 27 वरील WWDC26 सेशनमध्ये Apple चा कोड नमुना contextSize चे मूल्य 8,192 प्रिंट करतो (Apple). प्रॉम्प्ट, सूचना आणि उत्तर सगळे ही विंडो वाटून घेतात.
• यात किती बसते. इंग्रजीत एक टोकन साधारण तीन ते चार अक्षरांचा असतो (Apple), म्हणून 8,192 टोकन म्हणजे इनपुट आणि आउटपुट मिळून सुमारे 25,000 ते 33,000 अक्षरे: काही पाने, पुस्तक किंवा कोडबेस नाही.
• छोटे, सोपे प्रॉम्प्ट. «An on-device model has fewer parameters and a small context window», म्हणून Apple प्रॉम्प्ट «short and succinct» असावेत असे सांगते आणि म्हणते की ऑन-डिव्हाइस मॉडेल «have limited reasoning abilities»: कठीण काम टप्प्यांत विभागा (Apple).
• ते macOS सोबत बदलते. Apple सिस्टम अपडेटसोबत मॉडेल अपडेट करते; macOS 27 मध्ये नवीन व्हर्जन आहे (Apple). अपडेटनंतर एखाद्या स्क्रिप्टचे निकाल बदलू शकतात.

Apple या पानांवर ऑन-डिव्हाइस मॉडेलचा आकार सांगत नाही, म्हणून आम्हीही सांगत नाही.

5स्क्रिप्ट आणि कोडमधून fm वापरणे

fm respond उत्तर प्रिंट करते, म्हणून ते कोणत्याही shell स्क्रिप्टमध्ये बसते. --schema सह उत्तर JSON असते, जे तुम्ही jq ला देऊ शकता. Apple चे सेशन अशाच प्रकारे एक प्रोजेक्ट फोल्डर लावते: कोणत्या फाइल अंतिम आहेत आणि कोणत्या ड्राफ्ट हे मॉडेलला विचारते, मग त्या कॉपी आणि हलवते. Apple च्या नमुन्यातून छोटे केलेले (Apple):

fm schema object --name "TriagedFileList" \
  --string 'final_files' --array \
  --string 'draft_files' --array > /tmp/schema.json

output=$(fm respond \
  --instructions "Return the latest files, then separately all draft files." \
  "This is the list of all files:\n\n${files_list}" \
  --schema /tmp/schema.json
)

echo "${output}" | jq -r '.draft_files[]'

Python साठी Apple चे Foundation Models SDK आहे, pip install apple_fm_sdk, त्याच ऑन-डिव्हाइस मॉडेलसह, मार्गदर्शित जनरेशन आणि टूल कॉलिंगसह (Apple). Apple चे उदाहरण:

import apple_fm_sdk as fm

model = fm.SystemLanguageModel()
is_available, reason = model.is_available()
if is_available:
    session = fm.LanguageModelSession(model=model)
    response = await session.respond(prompt="Hello!")
    print(response)

अनेक ॲप आणि कोडिंग एजंट त्याऐवजी लोकल पोर्टवर OpenAI किंवा Anthropic शैलीचा API अपेक्षित धरतात. तुम्हाला हेच हवे असेल, तर mlx_lm.server तुम्ही निवडलेले ओपन मॉडेल localhost:8080 वर OpenAI-शैलीच्या API ने देते (mlx-lm), आणि LM Studio चा लोकल सर्व्हर OpenAI आणि Anthropic फॉरमॅट समजतो (LM Studio). आणखी पर्याय: Mac वर LLM चालवण्यासाठी सर्वोत्तम ॲप.

6ओपन मॉडेलकडे कधी वळावे

छोट्या कामांसाठी fm पुरेसे आहे: एखाद्या नोटचा सारांश, फाइलचे नाव ठेवणे, मजकुरातून फील्ड काढणे, एक झटपट प्रश्न. ते आधीच Mac वर आहे आणि सेटअप लागत नाही. इनपुट काही हजार टोकनमध्ये बसत नसेल, कामाला जास्त तर्क किंवा कोड लागत असेल, तुम्हाला स्वतः मॉडेल निवडायचे असेल, किंवा एखाद्या टूलला API हवा असेल, तेव्हा ओपन मॉडेल घ्या.

ओपन मॉडेल तुमच्या Mac च्या GPU वर चालते, आणि काय बसेल हे युनिफाइड मेमरी ठरवते. आमचा Compare हिशोब डिफॉल्टने GPU ला सुमारे 75% देतो आणि कॉन्टेक्स्टसाठी जागा ठेवतो:

या मॉडेलच्या कार्डवर कितीतरी लांब कॉन्टेक्स्ट विंडो दिल्या आहेत, Llama 3.1 8B साठी 128K टोकन आणि Qwen3.6 35B A3B साठी 262,144, पण लांब कॉन्टेक्स्टला वर मोजलेल्या जागेपेक्षा जास्त मेमरी लागते. तुमच्या Mac मध्ये काय आहे हे माहीत नाही? Apple मेनू, «या Mac बद्दल», मग चिपनुसार Mac पाहा.

mlx-lm हा त्यांना चालवण्याचा एक मार्ग आहे: Apple ची स्वतःची MLX टूल्स Hugging Face वरून MLX मॉडेल डाउनलोड करतात, Terminal मध्ये त्यांच्याशी चॅट करतात आणि वर सांगितलेला लोकल API देतात. LM Studio आणि Ollama हेच काम एका ॲपमध्ये करतात (Mac वर LLM चालवण्यासाठी सर्वोत्तम ॲप). तुम्ही Mac वापरत नसताना MLX Node तुम्ही ठरवलेल्या मर्यादांमध्ये MLX Network साठी AI जॉब चालवू शकते आणि पडताळलेल्या कामासाठी MLX टोकन कमावते. MLX टोकनचे मूल्य कमी होऊ शकते; जोखीम वाचा.

7प्रश्न

macOS ची fm कमांड मोफत आहे का?

ती macOS 27 मध्ये आधीच इन्स्टॉल असते आणि डिफॉल्टने macOS सोबत येणारे ऑन-डिव्हाइस मॉडेल वापरते. मोठ्या Private Cloud Compute मॉडेलला वापराच्या मर्यादा आहेत (Apple).

fm ऑफलाइन चालते का?

ऑन-डिव्हाइस मॉडेलसह, हो: Apple म्हणते की ते इंटरनेट कनेक्शनशिवाय काम करते (Apple). आधी Apple Intelligence डाउनलोड व्हावे लागते, आणि --model pcc किंवा fm chat मधील /model Apple चे सर्व्हर वापरतात.

fm किती लांब प्रॉम्प्ट घेऊ शकते?

प्रॉम्प्ट, सूचना आणि उत्तर एकच कॉन्टेक्स्ट विंडो वाटून घेतात: Apple च्या दस्तऐवजांत 4,096 टोकन आणि macOS 27 साठीच्या Apple च्या WWDC26 नमुन्यात 8,192 (Apple). इंग्रजीत हे साधारण तीन ते चार अक्षरे प्रति टोकन आहे.

fm, OpenAI-सुसंगत API देते का?

Apple चे WWDC26 सेशन आणि आम्ही वाचलेले Foundation Models दस्तऐवज सर्व्हर मोडचे वर्णन करत नाहीत, म्हणून ते कसे काम करते याची आम्ही खात्री देऊ शकत नाही. दस्तऐवजीकरण असलेल्या लोकल API साठी mlx_lm.server ओपन मॉडेल localhost:8080 वर OpenAI शैलीत देते, आणि LM Studio OpenAI आणि Anthropic फॉरमॅटमध्ये.

कोणते Mac fm वापरू शकतात?

macOS 27 असलेले आणि Apple Intelligence सपोर्ट करणारे Mac: M1 किंवा नवीन चिप असलेला कोणताही Mac, सपोर्टेड भाषेवर सेट केलेला, आणि 14 GB पर्यंत (M3 किंवा नवीन, 12 GB किंवा जास्त मेमरीसह) किंवा 8 GB पर्यंत मोकळ्या स्टोरेजसह (Apple).