Arahan fm macOS: LLM setempat Apple dalam Terminal.

1Apa itu fm

fm ialah alat baris arahan Apple untuk Apple Foundation Models, model di sebalik Apple Intelligence. "Starting from macOS 27, this command line tool comes pre-installed on your Mac", kata Apple dalam sesi WWDC26 tentangnya; anda buka Terminal dan taip fm (Apple). Apple menawarkannya untuk skrip dan automasi "without writing a line of app code" (Apple).

Ia boleh berhubung dengan dua model. Secara lalai ia menggunakan "the on-device model that comes with macOS, and that's always available". Ia juga boleh menggunakan Apple Foundation Model pada Private Cloud Compute, yang Apple gelar "a much bigger model than the on-device model", yang "will perform better on complex problems" dan "has usage limits" (Apple). Model pada peranti berjalan pada Mac anda dan berfungsi tanpa sambungan internet (Apple); prompt yang dihantar ke Private Cloud Compute pergi ke pelayan Apple.

fm ialah perisian Apple dan tiada kaitan dengan MLX Network. MLX Network adalah bebas dan tidak bergabung dengan Apple.

2Arahannya

Inilah arahan dan pilihan yang Apple tunjukkan dalam sesi WWDC26 (Apple, Apple):

Contoh Apple sendiri daripada sesi itu:

fm respond "Provide a basic regex in Swift to parse an email address"
fm respond "Provide a comprehensive regex in Swift to parse an email address" --model pcc
fm schema object --name AppsIdentified --string app_names --array > schema.json
fm respond "What apps are the user actively using in this screenshot?" \
  --image Screenshot.png --model pcc --schema schema.json
# {"app_names": ["Messages", "Mail", "Calendar"]}
fm respond --help

3Apa yang anda perlukan, dan berapa banyak yang dimuat turun

• macOS 27. fm disertakan bersamanya (Apple).
• Mac yang menyokong Apple Intelligence. Apple Foundation Models memerlukannya (Apple); pada macOS 27, itu ialah mana-mana Mac dengan M1 atau lebih baharu (Apple).
• Bahasa yang disokong. Apple Intelligence memerlukan bahasa peranti dan bahasa Siri ditetapkan kepada bahasa disokong yang sama, dan buat masa ini ia tidak berfungsi pada peranti yang dibeli di tanah besar China (Apple).
• Ruang cakera kosong untuk Apple Intelligence, di bawah.

Model mungkin tidak tersedia untuk seketika selepas anda menghidupkan Apple Intelligence: rangka kerja Apple melaporkannya belum sedia "because it's downloading or because of other system reasons" (Apple).

Untuk SDK Python, yang menggunakan model pada peranti yang sama, Apple menyenaraikan macOS 26.0 atau lebih baharu, Xcode 26.0 atau lebih baharu dengan perjanjiannya diterima, dan Python 3.10 atau lebih baharu (Apple), pada Mac dengan Apple silicon (Apple).

4Kehebatan model pada peranti, dan di mana ia berhenti

Apple berterus terang: model pada peranti cemerlang dalam pelbagai tugas penjanaan teks, seperti meringkaskan, mengekstrak entiti, memahami teks dan imej, memperhalus tulisan, dialog untuk permainan dan menjana kandungan kreatif; apabila anda memerlukan keupayaan penaakulan yang lebih dan konteks yang lebih besar, gunakan Private Cloud Compute atau mana-mana penyedia model pelayan (Apple).

• Tetingkap konteks yang kecil. Dokumentasi Apple memberi model pada peranti "a context window of 4096 tokens per session" (Apple) dan menyenaraikan 4K berbanding 32K untuk Private Cloud Compute (Apple). Dalam sesi WWDC26 tentang macOS 27, contoh kod Apple mencetak contextSize sebanyak 8,192 (Apple). Prompt, arahan dan jawapan berkongsi tetingkap itu.
• Berapa banyak yang muat. Dalam bahasa Inggeris, satu token biasanya tiga hingga empat aksara (Apple), jadi 8,192 token lebih kurang 25,000 hingga 33,000 aksara input dan output bersama: beberapa halaman, bukan buku atau pangkalan kod.
• Prompt yang pendek dan ringkas. "An on-device model has fewer parameters and a small context window", jadi Apple meminta prompt yang "short and succinct" dan berkata model pada peranti "have limited reasoning abilities": pecahkan tugas sukar kepada beberapa langkah (Apple).
• Ia berubah bersama macOS. Apple mengemas kini model melalui kemas kini sistem; macOS 27 ada versi baharu (Apple). Hasil sesuatu skrip boleh berubah selepas kemas kini.

Apple tidak menyatakan saiz model pada peranti di halaman-halaman ini, jadi kami juga tidak.

5Menggunakan fm daripada skrip dan kod

fm respond mencetak jawapan, jadi ia boleh dimasukkan ke dalam mana-mana skrip shell. Dengan --schema, jawapannya ialah JSON yang boleh anda hantar ke jq. Sesi Apple menyusun folder projek dengan cara ini: ia bertanya kepada model fail mana yang muktamad dan mana yang draf, kemudian menyalin dan memindahkannya. Dipendekkan daripada contoh Apple (Apple):

fm schema object --name "TriagedFileList" \
  --string 'final_files' --array \
  --string 'draft_files' --array > /tmp/schema.json

output=$(fm respond \
  --instructions "Return the latest files, then separately all draft files." \
  "This is the list of all files:\n\n${files_list}" \
  --schema /tmp/schema.json
)

echo "${output}" | jq -r '.draft_files[]'

Untuk Python ada Foundation Models SDK Apple, pip install apple_fm_sdk, dengan model pada peranti yang sama, penjanaan berpandu dan panggilan alat (Apple). Contoh Apple:

import apple_fm_sdk as fm

model = fm.SystemLanguageModel()
is_available, reason = model.is_available()
if is_available:
    session = fm.LanguageModelSession(model=model)
    response = await session.respond(prompt="Hello!")
    print(response)

Banyak aplikasi dan ejen pengekodan sebaliknya menjangkakan API gaya OpenAI atau Anthropic pada port setempat. Jika itu yang anda perlukan, mlx_lm.server menyediakan model terbuka pilihan anda melalui API gaya OpenAI di localhost:8080 (mlx-lm), dan pelayan setempat LM Studio menyokong format OpenAI dan Anthropic (LM Studio). Lebih banyak pilihan: aplikasi terbaik untuk menjalankan LLM pada Mac.

6Bila beralih kepada model terbuka

Gunakan fm untuk kerja pendek: meringkaskan nota, menamakan fail, mengeluarkan medan daripada teks, soalan pantas. Ia sudah ada pada Mac dan tidak perlu disediakan. Beralihlah kepada model terbuka apabila input tidak muat dalam beberapa ribu token, apabila tugas memerlukan lebih banyak penaakulan atau kod, apabila anda mahu memilih model sendiri, atau apabila sesuatu alat memerlukan API.

Model terbuka berjalan pada GPU Mac anda, dan apa yang muat ditentukan oleh memori bersatu. Kiraan Compare kami secara lalai memberi GPU kira-kira 75% dan meninggalkan ruang untuk konteks:

Model-model ini menyenaraikan tetingkap konteks yang jauh lebih panjang pada kad mereka, 128K token untuk Llama 3.1 8B dan 262,144 untuk Qwen3.6 35B A3B, walaupun konteks panjang memerlukan memori melebihi ruang yang dikira di atas. Tidak pasti apa yang ada pada Mac anda? Menu Apple, Perihal Mac Ini, kemudian lihat Mac mengikut cip.

mlx-lm ialah satu cara untuk menjalankannya: alat MLX milik Apple sendiri memuat turun model MLX daripada Hugging Face, bersembang dengannya dalam Terminal dan menyediakan API setempat di atas. LM Studio dan Ollama melakukan perkara yang sama dalam bentuk aplikasi (aplikasi terbaik untuk menjalankan LLM pada Mac). Apabila anda tidak menggunakan Mac, MLX Node boleh menjalankan kerja AI untuk MLX Network dalam had yang anda tetapkan dan memperoleh token MLX untuk kerja yang disahkan. Token MLX boleh kehilangan nilai; baca risiko.

7Soalan

Adakah arahan fm macOS percuma?

Ia sudah dipasang dalam macOS 27 dan secara lalai menggunakan model pada peranti yang disertakan dengan macOS. Model Private Cloud Compute yang lebih besar mempunyai had penggunaan (Apple).

Adakah fm berfungsi luar talian?

Dengan model pada peranti, ya: Apple berkata ia berfungsi tanpa sambungan internet (Apple). Apple Intelligence perlu dimuat turun dahulu, dan --model pcc atau /model dalam fm chat menggunakan pelayan Apple.

Berapa panjang prompt yang boleh diterima fm?

Prompt, arahan dan jawapan berkongsi satu tetingkap konteks: 4,096 token dalam dokumentasi Apple dan 8,192 dalam contoh WWDC26 Apple untuk macOS 27 (Apple). Dalam bahasa Inggeris, itu lebih kurang tiga hingga empat aksara bagi setiap token.

Adakah fm menyediakan API yang serasi dengan OpenAI?

Sesi WWDC26 Apple dan dokumentasi Foundation Models yang kami baca tidak menerangkan mod pelayan, jadi kami tidak dapat mengesahkan cara ia berfungsi. Untuk API setempat yang didokumenkan, mlx_lm.server menyediakan model terbuka di localhost:8080 dalam gaya OpenAI, dan LM Studio dalam format OpenAI dan Anthropic.

Mac mana yang boleh menggunakan fm?

Mac dengan macOS 27 yang menyokong Apple Intelligence: mana-mana Mac dengan M1 atau lebih baharu, ditetapkan kepada bahasa yang disokong, dengan ruang kosong sehingga 14 GB (M3 atau lebih baharu dengan memori 12 GB atau lebih) atau sehingga 8 GB (Apple).