macOS નો fm કમાન્ડ: Terminal માં Apple નું લોકલ LLM.

1fm શું છે

fm એ Apple Foundation Models માટેનું Apple નું કમાન્ડ લાઇન ટૂલ છે, એટલે કે Apple Intelligence પાછળનાં મૉડલ. Apple તેના WWDC26 સેશનમાં કહે છે: «Starting from macOS 27, this command line tool comes pre-installed on your Mac»; Terminal ખોલો અને fm લખો (Apple). Apple તેને સ્ક્રિપ્ટિંગ અને ઑટોમેશન માટે રજૂ કરે છે, «without writing a line of app code» (Apple).

તે બે મૉડલ સાથે વાત કરી શકે છે. ડિફૉલ્ટ રીતે તે «the on-device model that comes with macOS, and that's always available» વાપરે છે. તે Private Cloud Compute પરનું Apple Foundation Model પણ વાપરી શકે છે, જેને Apple «a much bigger model than the on-device model» કહે છે, જે «will perform better on complex problems» અને જેની «has usage limits» (Apple). ઑન-ડિવાઇસ મૉડલ તમારા Mac પર ચાલે છે અને ઇન્ટરનેટ કનેક્શન વગર કામ કરે છે (Apple); Private Cloud Compute ને મોકલેલો પ્રૉમ્પ્ટ Apple ના સર્વર પર જાય છે.

fm એ Apple નું સૉફ્ટવેર છે અને તેને MLX Network સાથે કોઈ લેવાદેવા નથી. MLX Network સ્વતંત્ર પ્રોજેક્ટ છે અને Apple સાથે જોડાયેલો નથી.

2કમાન્ડ

Apple તેના WWDC26 સેશનમાં બતાવે છે તે કમાન્ડ અને વિકલ્પો (Apple, Apple):

સેશનમાંથી Apple નાં પોતાનાં ઉદાહરણો:

fm respond "Provide a basic regex in Swift to parse an email address"
fm respond "Provide a comprehensive regex in Swift to parse an email address" --model pcc
fm schema object --name AppsIdentified --string app_names --array > schema.json
fm respond "What apps are the user actively using in this screenshot?" \
  --image Screenshot.png --model pcc --schema schema.json
# {"app_names": ["Messages", "Mail", "Calendar"]}
fm respond --help

3શું જોઈએ, અને કેટલું ડાઉનલોડ થાય છે

• macOS 27. fm તેની સાથે આવે છે (Apple).
• Apple Intelligence ને સપોર્ટ કરતું Mac. Apple Foundation Models ને તેની જરૂર છે (Apple); macOS 27 પર એટલે M1 કે નવી ચિપ વાળું કોઈ પણ Mac (Apple).
• સપોર્ટેડ ભાષા. Apple Intelligence માટે ડિવાઇસની ભાષા અને Siri ની ભાષા એક જ સપોર્ટેડ ભાષા પર હોવી જોઈએ, અને હાલ તે મુખ્ય ભૂમિ ચીનમાં ખરીદેલાં ડિવાઇસ પર કામ કરતું નથી (Apple).
• ડિસ્ક પર ખાલી જગ્યા Apple Intelligence માટે, નીચે જુઓ.

Apple Intelligence ચાલુ કર્યા પછી થોડો સમય મૉડલ ઉપલબ્ધ ન પણ હોય: Apple નું ફ્રેમવર્ક તે તૈયાર નથી એમ જણાવે છે «because it's downloading or because of other system reasons» (Apple).

આ જ ઑન-ડિવાઇસ મૉડલ વાપરતા Python SDK માટે Apple macOS 26.0 કે નવું, કરાર સ્વીકારેલું Xcode 26.0 કે નવું, અને Python 3.10 કે નવું જણાવે છે (Apple), Apple silicon વાળા Mac પર (Apple).

4ઑન-ડિવાઇસ મૉડલ શેમાં સારું છે, અને ક્યાં અટકે છે

Apple સ્પષ્ટ કહે છે: ઑન-ડિવાઇસ મૉડલ લખાણ બનાવવાનાં ઘણાં કામોમાં ઉત્તમ છે, જેમ કે સારાંશ, એન્ટિટી કાઢવી, લખાણ અને ઇમેજ સમજવી, લખાણ સુધારવું, ગેમના સંવાદ અને સર્જનાત્મક કન્ટેન્ટ બનાવવું; જ્યારે વધુ તર્કશક્તિ અને મોટો કૉન્ટેક્સ્ટ જોઈએ, ત્યારે Private Cloud Compute કે કોઈ પણ સર્વર મૉડલ પ્રદાતા વાપરો (Apple).

• નાની કૉન્ટેક્સ્ટ વિન્ડો. Apple ના દસ્તાવેજો ઑન-ડિવાઇસ મૉડલને «a context window of 4096 tokens per session» આપે છે (Apple) અને Private Cloud Compute ના 32K સામે 4K દર્શાવે છે (Apple). macOS 27 પરના WWDC26 સેશનમાં Apple નો કોડ નમૂનો contextSize નું મૂલ્ય 8,192 પ્રિન્ટ કરે છે (Apple). પ્રૉમ્પ્ટ, સૂચનાઓ અને જવાબ બધાં આ વિન્ડો વહેંચે છે.
• તેમાં કેટલું સમાય. અંગ્રેજીમાં એક ટોકન સામાન્ય રીતે ત્રણથી ચાર અક્ષરનો હોય છે (Apple), તેથી 8,192 ટોકન એટલે ઇનપુટ અને આઉટપુટ મળીને આશરે 25,000 થી 33,000 અક્ષર: થોડાં પાનાં, પુસ્તક કે કોડબેઝ નહીં.
• ટૂંકા, સરળ પ્રૉમ્પ્ટ. «An on-device model has fewer parameters and a small context window», તેથી Apple પ્રૉમ્પ્ટ «short and succinct» રાખવા કહે છે અને કહે છે કે ઑન-ડિવાઇસ મૉડલ «have limited reasoning abilities»: અઘરા કામને તબક્કામાં વહેંચો (Apple).
• તે macOS સાથે બદલાય છે. Apple સિસ્ટમ અપડેટ સાથે મૉડલ અપડેટ કરે છે; macOS 27 માં નવું વર્ઝન છે (Apple). અપડેટ પછી કોઈ સ્ક્રિપ્ટનાં પરિણામો બદલાઈ શકે છે.

Apple આ પાનાં પર ઑન-ડિવાઇસ મૉડલનું કદ જણાવતું નથી, તેથી અમે પણ જણાવતા નથી.

5સ્ક્રિપ્ટ અને કોડમાંથી fm વાપરવું

fm respond જવાબ પ્રિન્ટ કરે છે, તેથી તે કોઈ પણ shell સ્ક્રિપ્ટમાં બેસી જાય છે. --schema સાથે જવાબ JSON હોય છે, જે તમે jq ને આપી શકો છો. Apple નું સેશન આ રીતે એક પ્રોજેક્ટ ફોલ્ડર ગોઠવે છે: કઈ ફાઇલો અંતિમ છે અને કઈ ડ્રાફ્ટ તે મૉડલને પૂછે છે, પછી તેમને કૉપી અને ખસેડે છે. Apple ના નમૂનામાંથી ટૂંકું કરેલું (Apple):

fm schema object --name "TriagedFileList" \
  --string 'final_files' --array \
  --string 'draft_files' --array > /tmp/schema.json

output=$(fm respond \
  --instructions "Return the latest files, then separately all draft files." \
  "This is the list of all files:\n\n${files_list}" \
  --schema /tmp/schema.json
)

echo "${output}" | jq -r '.draft_files[]'

Python માટે Apple નું Foundation Models SDK છે, pip install apple_fm_sdk, એ જ ઑન-ડિવાઇસ મૉડલ, માર્ગદર્શિત જનરેશન અને ટૂલ કૉલિંગ સાથે (Apple). Apple નું ઉદાહરણ:

import apple_fm_sdk as fm

model = fm.SystemLanguageModel()
is_available, reason = model.is_available()
if is_available:
    session = fm.LanguageModelSession(model=model)
    response = await session.respond(prompt="Hello!")
    print(response)

ઘણી ઍપ અને કોડિંગ એજન્ટ તેના બદલે લોકલ પોર્ટ પર OpenAI કે Anthropic શૈલીનો API અપેક્ષે છે. જો તમને આ જ જોઈએ, તો mlx_lm.server તમે પસંદ કરેલું ઓપન મૉડલ localhost:8080 પર OpenAI-શૈલીના API દ્વારા આપે છે (mlx-lm), અને LM Studioનું લોકલ સર્વર OpenAI અને Anthropic ફૉર્મેટ સમજે છે (LM Studio). વધુ વિકલ્પો: Mac પર LLM ચલાવવા માટેની શ્રેષ્ઠ ઍપ.

6ઓપન મૉડલ તરફ ક્યારે જવું

ટૂંકાં કામો માટે fm પૂરતું છે: કોઈ નોટનો સારાંશ, ફાઇલનું નામ રાખવું, લખાણમાંથી ફીલ્ડ કાઢવાં, એક ઝડપી સવાલ. તે પહેલેથી Mac પર છે અને સેટઅપ માગતું નથી. ઇનપુટ થોડા હજાર ટોકનમાં ન સમાય, કામને વધુ તર્ક કે કોડ જોઈએ, તમે જાતે મૉડલ પસંદ કરવા માગો, કે કોઈ ટૂલને API જોઈએ, ત્યારે ઓપન મૉડલ લો.

ઓપન મૉડલ તમારા Mac ના GPU પર ચાલે છે, અને શું સમાશે તે યુનિફાઇડ મેમરી નક્કી કરે છે. અમારો Compare હિસાબ ડિફૉલ્ટ રીતે GPU ને આશરે 75% આપે છે અને કૉન્ટેક્સ્ટ માટે જગ્યા રાખે છે:

આ મૉડલના કાર્ડ પર ઘણી લાંબી કૉન્ટેક્સ્ટ વિન્ડો દર્શાવેલી છે, Llama 3.1 8B માટે 128K ટોકન અને Qwen3.6 35B A3B માટે 262,144, જોકે લાંબા કૉન્ટેક્સ્ટને ઉપર ગણેલી જગ્યા કરતાં વધુ મેમરી જોઈએ. તમારા Mac માં શું છે તે ખબર નથી? Apple મેનૂ, «આ Mac વિશે», પછી ચિપ મુજબ Mac જુઓ.

mlx-lm તેમને ચલાવવાનો એક રસ્તો છે: Appleનાં પોતાનાં MLX ટૂલ Hugging Faceમાંથી MLX મૉડલ ડાઉનલોડ કરે છે, Terminalમાં તેમની સાથે ચૅટ કરે છે અને ઉપર જણાવેલો લોકલ API આપે છે. LM Studio અને Ollama આ જ કામ એક ઍપમાં કરે છે (Mac પર LLM ચલાવવા માટેની શ્રેષ્ઠ ઍપ). તમે Mac વાપરતા ન હો ત્યારે MLX Node તમે નક્કી કરેલી મર્યાદામાં MLX Network માટે AI જૉબ ચલાવી શકે છે અને ચકાસાયેલા કામ માટે MLX ટોકન કમાય છે. MLX ટોકનનું મૂલ્ય ઘટી શકે છે; જોખમો વાંચો.

7પ્રશ્નો

macOS નો fm કમાન્ડ મફત છે?

તે macOS 27 માં પહેલેથી ઇન્સ્ટોલ આવે છે અને ડિફૉલ્ટ રીતે macOS સાથે આવતું ઑન-ડિવાઇસ મૉડલ વાપરે છે. મોટા Private Cloud Compute મૉડલની વપરાશ મર્યાદા છે (Apple).

fm ઑફલાઇન કામ કરે છે?

ઑન-ડિવાઇસ મૉડલ સાથે, હા: Apple કહે છે કે તે ઇન્ટરનેટ કનેક્શન વગર કામ કરે છે (Apple). પહેલાં Apple Intelligence ડાઉનલોડ થવું જરૂરી છે, અને --model pcc કે fm chat માંનો /model Apple ના સર્વર વાપરે છે.

fm કેટલો લાંબો પ્રૉમ્પ્ટ લઈ શકે છે?

પ્રૉમ્પ્ટ, સૂચનાઓ અને જવાબ એક જ કૉન્ટેક્સ્ટ વિન્ડો વહેંચે છે: Apple ના દસ્તાવેજોમાં 4,096 ટોકન અને macOS 27 માટેના Apple ના WWDC26 નમૂનામાં 8,192 (Apple). અંગ્રેજીમાં એ આશરે ત્રણથી ચાર અક્ષર પ્રતિ ટોકન છે.

fm, OpenAI-સુસંગત API આપે છે?

Apple ના WWDC26 સેશન અને અમે વાંચેલા Foundation Models દસ્તાવેજો સર્વર મોડનું વર્ણન કરતા નથી, તેથી તે કેવી રીતે કામ કરે છે તેની અમે ખાતરી આપી શકતા નથી. દસ્તાવેજીકૃત લોકલ API માટે mlx_lm.server ઓપન મૉડલ localhost:8080 પર OpenAI શૈલીમાં આપે છે, અને LM Studio OpenAI અને Anthropic ફૉર્મેટમાં.

કયાં Mac fm વાપરી શકે છે?

macOS 27 વાળાં અને Apple Intelligence ને સપોર્ટ કરતાં Mac: M1 કે નવી ચિપ વાળું કોઈ પણ Mac, સપોર્ટેડ ભાષા પર સેટ કરેલું, અને 14 GB સુધી (M3 કે નવું, 12 GB કે વધુ મેમરી સાથે) કે 8 GB સુધી ખાલી સ્ટોરેજ સાથે (Apple).