Lệnh fm trên macOS: LLM cục bộ của Apple trong Terminal.

1fm là gì

fm là công cụ dòng lệnh của Apple cho Apple Foundation Models, các mô hình đứng sau Apple Intelligence. "Starting from macOS 27, this command line tool comes pre-installed on your Mac", Apple nói trong phiên WWDC26 về công cụ này; bạn mở Terminal và gõ fm (Apple). Apple giới thiệu nó cho việc viết script và tự động hóa "without writing a line of app code" (Apple).

Nó có thể làm việc với hai mô hình. Mặc định nó dùng "the on-device model that comes with macOS, and that's always available". Nó cũng có thể dùng Apple Foundation Model trên Private Cloud Compute, mà Apple gọi là "a much bigger model than the on-device model", "will perform better on complex problems" và "has usage limits" (Apple). Mô hình trên thiết bị chạy trên Mac của bạn và hoạt động không cần kết nối internet (Apple); prompt gửi tới Private Cloud Compute sẽ đi tới máy chủ của Apple.

fm là phần mềm của Apple và không liên quan gì tới MLX Network. MLX Network là dự án độc lập, không liên kết với Apple.

2Các lệnh

Đây là các lệnh và tùy chọn Apple trình bày trong các phiên WWDC26 (Apple, Apple):

Ví dụ của chính Apple trong phiên:

fm respond "Provide a basic regex in Swift to parse an email address"
fm respond "Provide a comprehensive regex in Swift to parse an email address" --model pcc
fm schema object --name AppsIdentified --string app_names --array > schema.json
fm respond "What apps are the user actively using in this screenshot?" \
  --image Screenshot.png --model pcc --schema schema.json
# {"app_names": ["Messages", "Mail", "Calendar"]}
fm respond --help

3Bạn cần gì, và nó tải về bao nhiêu

• macOS 27. fm đi kèm hệ điều hành này (Apple).
• Một chiếc Mac hỗ trợ Apple Intelligence. Apple Foundation Models cần điều này (Apple); trên macOS 27, đó là mọi Mac có M1 trở lên (Apple).
• Một ngôn ngữ được hỗ trợ. Apple Intelligence yêu cầu ngôn ngữ thiết bị và ngôn ngữ Siri được đặt cùng một ngôn ngữ được hỗ trợ, và hiện chưa hoạt động trên thiết bị mua tại Trung Quốc đại lục (Apple).
• Dung lượng ổ đĩa trống cho Apple Intelligence, xem bên dưới.

Mô hình có thể chưa dùng được một lúc sau khi bạn bật Apple Intelligence: framework của Apple báo nó chưa sẵn sàng "because it's downloading or because of other system reasons" (Apple).

Với Python SDK, vốn dùng cùng mô hình trên thiết bị, Apple liệt kê macOS 26.0 trở lên, Xcode 26.0 trở lên đã chấp nhận thỏa thuận, và Python 3.10 trở lên (Apple), trên Mac dùng Apple silicon (Apple).

4Mô hình trên thiết bị giỏi gì, và dừng ở đâu

Apple nói thẳng: các mô hình trên thiết bị rất giỏi nhiều việc tạo văn bản, như tóm tắt, trích xuất thực thể, hiểu văn bản và hình ảnh, chỉnh sửa câu chữ, hội thoại cho trò chơi, tạo nội dung sáng tạo; khi cần khả năng suy luận cao hơn và ngữ cảnh lớn hơn, hãy dùng Private Cloud Compute hoặc bất kỳ nhà cung cấp mô hình máy chủ nào (Apple).

• Cửa sổ ngữ cảnh nhỏ. Tài liệu của Apple cho mô hình trên thiết bị "a context window of 4096 tokens per session" (Apple) và ghi 4K so với 32K của Private Cloud Compute (Apple). Trong phiên WWDC26 về macOS 27, mẫu mã của Apple in ra contextSize là 8.192 (Apple). Prompt, chỉ dẫn và câu trả lời dùng chung cửa sổ đó.
• Chứa được bao nhiêu. Trong tiếng Anh, một token thường là ba đến bốn ký tự (Apple), nên 8.192 token vào khoảng 25.000 đến 33.000 ký tự cả đầu vào lẫn đầu ra: vài trang, không phải một cuốn sách hay một codebase.
• Prompt ngắn, đơn giản. "An on-device model has fewer parameters and a small context window", nên Apple yêu cầu prompt "short and succinct" và nói các mô hình trên thiết bị "have limited reasoning abilities": hãy chia việc khó thành nhiều bước (Apple).
• Nó thay đổi theo macOS. Apple cập nhật mô hình qua các bản cập nhật hệ điều hành; macOS 27 có phiên bản mới (Apple). Kết quả của một script có thể khác đi sau khi cập nhật.

Apple không nêu kích thước mô hình trên thiết bị trong các trang này, nên chúng tôi cũng không.

5Dùng fm từ script và mã

fm respond in câu trả lời ra, nên nó lắp được vào bất kỳ shell script nào. Với --schema, câu trả lời là JSON có thể chuyển cho jq. Phiên của Apple sắp xếp một thư mục dự án theo cách này: hỏi mô hình tệp nào là bản cuối và tệp nào là bản nháp, rồi sao chép và di chuyển chúng. Bản rút gọn từ mẫu của Apple (Apple):

fm schema object --name "TriagedFileList" \
  --string 'final_files' --array \
  --string 'draft_files' --array > /tmp/schema.json

output=$(fm respond \
  --instructions "Return the latest files, then separately all draft files." \
  "This is the list of all files:\n\n${files_list}" \
  --schema /tmp/schema.json
)

echo "${output}" | jq -r '.draft_files[]'

Với Python có Foundation Models SDK của Apple, pip install apple_fm_sdk, cùng mô hình trên thiết bị, sinh có hướng dẫn và gọi công cụ (Apple). Ví dụ của Apple:

import apple_fm_sdk as fm

model = fm.SystemLanguageModel()
is_available, reason = model.is_available()
if is_available:
    session = fm.LanguageModelSession(model=model)
    response = await session.respond(prompt="Hello!")
    print(response)

Nhiều ứng dụng và tác nhân lập trình lại cần một API kiểu OpenAI hoặc Anthropic trên một cổng cục bộ. Nếu bạn cần vậy, mlx_lm.server cung cấp một mô hình mở do bạn chọn qua API kiểu OpenAI tại localhost:8080 (mlx-lm), còn máy chủ cục bộ của LM Studio hỗ trợ định dạng OpenAI và Anthropic (LM Studio). Thêm lựa chọn: ứng dụng tốt nhất để chạy LLM trên Mac.

6Khi nào nên chuyển sang mô hình mở

Dùng fm cho việc ngắn: tóm tắt một ghi chú, đặt tên tệp, rút các trường từ văn bản, một câu hỏi nhanh. Nó đã có sẵn trên Mac và không cần cài đặt. Hãy dùng mô hình mở khi đầu vào không vừa vài nghìn token, khi việc cần suy luận hoặc viết mã nhiều hơn, khi bạn muốn tự chọn mô hình, hoặc khi một công cụ cần API.

Mô hình mở chạy trên GPU của Mac, và chạy được gì do bộ nhớ hợp nhất quyết định. Cách tính của Compare mặc định cho GPU khoảng 75% và chừa chỗ cho ngữ cảnh:

Thẻ của các mô hình này ghi cửa sổ ngữ cảnh dài hơn nhiều, 128K token cho Llama 3.1 8B và 262.144 cho Qwen3.6 35B A3B, dù ngữ cảnh dài cần bộ nhớ vượt phần đã tính ở trên. Chưa rõ Mac của bạn có bao nhiêu? Menu Apple, Giới thiệu về máy Mac này, rồi xem Mac theo chip.

mlx-lm là một cách để chạy chúng: bộ công cụ MLX của chính Apple tải mô hình MLX từ Hugging Face, trò chuyện với chúng trong Terminal và cung cấp API cục bộ nêu trên. LM Studio và Ollama làm điều tương tự trong một ứng dụng (ứng dụng tốt nhất để chạy LLM trên Mac). Khi bạn không dùng Mac, MLX Node có thể chạy tác vụ AI cho MLX Network trong giới hạn bạn đặt và kiếm token MLX cho công việc đã được xác minh. Token MLX có thể mất giá; hãy đọc phần rủi ro.

7Câu hỏi

Lệnh fm trên macOS có miễn phí không?

Nó được cài sẵn trong macOS 27 và mặc định dùng mô hình trên thiết bị đi kèm macOS. Mô hình Private Cloud Compute lớn hơn có giới hạn sử dụng (Apple).

fm có chạy offline không?

Với mô hình trên thiết bị thì có: Apple nói nó hoạt động không cần kết nối internet (Apple). Apple Intelligence phải được tải về trước, còn --model pcc hoặc /model trong fm chat dùng máy chủ của Apple.

fm nhận được prompt dài bao nhiêu?

Prompt, chỉ dẫn và câu trả lời dùng chung một cửa sổ ngữ cảnh: 4.096 token trong tài liệu của Apple và 8.192 trong mẫu WWDC26 của Apple cho macOS 27 (Apple). Trong tiếng Anh, mỗi token vào khoảng ba đến bốn ký tự.

fm có cung cấp API tương thích OpenAI không?

Các phiên WWDC26 của Apple và tài liệu Foundation Models mà chúng tôi đã đọc không mô tả chế độ máy chủ, nên chúng tôi không thể xác nhận nó hoạt động thế nào. Nếu cần một API cục bộ có tài liệu, mlx_lm.server cung cấp mô hình mở tại localhost:8080 theo kiểu OpenAI, còn LM Studio theo định dạng OpenAI và Anthropic.

Những Mac nào dùng được fm?

Các Mac chạy macOS 27 hỗ trợ Apple Intelligence: mọi Mac có M1 trở lên, đặt một ngôn ngữ được hỗ trợ, với tới 14 GB (M3 trở lên và từ 12 GB bộ nhớ) hoặc tới 8 GB dung lượng trống (Apple).