Tóm tắt nhanh
- Trên Apple Silicon có hai định dạng mô hình: MLX, được làm cho chip của Apple, và GGUF, từ llama.cpp, chạy ở mọi nơi.
- MLX Harness và mlx-lm chạy MLX; llama.cpp chạy GGUF; LM Studio, Jan và Ollama (ở bản xem trước) chạy cả hai.
- Hoàn toàn mã nguồn mở: MLX Harness, Ollama, Jan, llama.cpp và mlx-lm. LM Studio miễn phí, kể cả cho công việc, nhưng mã nguồn của ứng dụng máy tính không được công bố.
- Dù chọn gì, bộ nhớ quyết định mô hình nào vừa: hãy kiểm tra Mac của bạn trước.
1Tổng quan nhanh
| Mã nguồn mở | Chạy trên Mac | Ứng dụng | API cục bộ | |
|---|---|---|---|---|
| MLX Harness | Có (Apache 2.0) | MLX | Ứng dụng Mac | Kiểu OpenAI, Anthropic và Ollama |
| LM Studio | CLI, SDK và engine MLX (MIT); mã nguồn ứng dụng không công bố | MLX và GGUF | Ứng dụng Mac và CLI | OpenAI và Anthropic |
| Ollama | Có (MIT) | GGUF; MLX ở bản xem trước | Ứng dụng Mac và CLI | API riêng, cùng một phần của OpenAI và Anthropic |
| Jan | Có (Apache 2.0) | GGUF và MLX | Ứng dụng Mac | OpenAI |
| llama.cpp | Có (MIT) | GGUF | Dòng lệnh và giao diện web | OpenAI và Anthropic |
| mlx-lm | Có (MIT) | MLX | Dòng lệnh | Kiểu OpenAI, cơ bản |
2Mỗi công cụ trong vài dòng
MLX Harness
Ứng dụng Mac miễn phí, mã nguồn mở để trò chuyện, dùng agent lập trình có sẵn công cụ, tạo ảnh và chạy API cục bộ theo định dạng OpenAI, Anthropic và Ollama. Ứng dụng chạy mô hình bằng MLX của Apple và tải mô hình từ Hugging Face; nó không chạy tệp GGUF. Bạn cần máy Mac dùng Apple Silicon chạy macOS 14.5 trở lên. Đây là ứng dụng của chúng tôi, xây dựng trên vMLX của JANGQ AI, và có sẵn MLX Node bên trong, có thể cho Mac làm việc cho MLX Network khi bạn vắng mặt (nguồn). Hướng dẫn: cách dùng MLX Harness.
LM Studio
Ứng dụng chỉn chu chạy song song cả mô hình MLX lẫn GGUF, với công cụ tìm mô hình dựa trên Hugging Face (LM Studio). Từ tháng 7/2025, ứng dụng miễn phí cho cả cá nhân lẫn công việc (LM Studio). Công cụ dòng lệnh, SDK và engine MLX của nó dùng giấy phép MIT; mã nguồn ứng dụng máy tính không được công bố (GitHub). Ứng dụng cần Mac dùng Apple Silicon chạy macOS 14 trở lên, và khuyến nghị 16 GB bộ nhớ (yêu cầu hệ thống). Máy chủ cục bộ của nó dùng định dạng OpenAI và, từ phiên bản 0.4.1, cả định dạng Anthropic (nhật ký thay đổi).
Ollama
Cách chạy mô hình chỉ bằng một lệnh, có thư viện mô hình riêng và, từ tháng 7/2025, một ứng dụng trò chuyện trên Mac (Ollama). Ollama dùng giấy phép MIT và chạy mô hình GGUF qua llama.cpp (GitHub). Từ tháng 3/2026, Ollama có engine MLX ở bản xem trước trên Apple Silicon, dành cho Mac có hơn 32 GB bộ nhớ và danh sách mô hình ngày càng dài (Ollama). Ollama cần macOS 14 trở lên (tài liệu), và API ở cổng 11434 của nó là thứ nhiều ứng dụng khác mặc định chờ sẵn.
Jan
Ứng dụng trò chuyện mã nguồn mở (Apache 2.0) cho Mac, Windows và Linux, có sẵn engine llama.cpp, hỗ trợ MLX gốc từ tháng 2/2026, công cụ MCP và máy chủ tương thích OpenAI (GitHub, nhật ký thay đổi). Jan cũng kết nối được với mô hình trên đám mây, nếu bạn muốn một ứng dụng cho cả hai.
llama.cpp
Engine nằm bên dưới phần lớn AI cục bộ: mã C/C++ giấy phép MIT, coi Apple Silicon là “công dân hạng nhất” thông qua Metal (GitHub). Cài bằng brew install llama.cpp; llama-server cho bạn giao diện trò chuyện trên web và API tương thích OpenAI và Anthropic (tài liệu máy chủ). Nó chạy tệp GGUF, định dạng được phát hành rộng rãi nhất.
mlx-lm
Bộ công cụ MLX của chính Apple dành cho mô hình ngôn ngữ, giấy phép MIT: sinh văn bản, trò chuyện, chuyển đổi và lượng tử hóa mô hình, và tinh chỉnh bằng LoRA, ngay từ dòng lệnh (GitHub). mlx_lm.server cung cấp một endpoint kiểu OpenAI cơ bản mà chính tác giả không khuyên dùng cho môi trường production (tài liệu máy chủ). Hàng nghìn mô hình đã chuyển đổi nằm trong tổ chức mlx-community trên Hugging Face.
3Nên chọn cái nào
- Bạn muốn một ứng dụng mã nguồn mở, làm cho Apple Silicon: MLX Harness.
- Bạn muốn dùng mô hình MLX và GGUF trong một ứng dụng chỉn chu, và không ngại mã nguồn đóng: LM Studio.
- Một ứng dụng khác hoặc agent lập trình cần API Ollama: Ollama (MLX Harness cũng cung cấp endpoint kiểu Ollama).
- Bạn muốn một ứng dụng trò chuyện trên cả Mac, Windows và Linux, cho cả cục bộ lẫn đám mây: Jan.
- Bạn viết script, dựng máy chủ hoặc cần một bản lượng tử hóa GGUF cụ thể: llama.cpp.
- Bạn tinh chỉnh, chuyển đổi mô hình hoặc muốn bản triển khai tham chiếu của Apple: mlx-lm.
Nhiều người dùng hai công cụ: một ứng dụng để trò chuyện hằng ngày và một công cụ dòng lệnh cho script. Chúng có thể dùng chung một máy Mac, nhưng mỗi công cụ giữ một bản sao tệp mô hình riêng.
4Trước hết, hãy xem Mac của bạn chứa được gì
Không ứng dụng nào thay đổi được phép tính: mô hình và ngữ cảnh của nó phải vừa trong phần bộ nhớ hợp nhất mà macOS cho GPU dùng, mặc định khoảng 75%, và băng thông bộ nhớ quyết định tốc độ viết. Tệp MLX và GGUF của cùng một mô hình ở cùng độ chính xác có kích thước gần như nhau.
Xem mọi mô hình vừa với Mac của bạn, những mô hình tốt nhất cho từng dung lượng bộ nhớ, hoặc bắt đầu từ một mô hình để xem nó cần Mac nào.
5Khi Mac đang rảnh
Một máy Mac chạy tốt AI cục bộ cũng chạy tốt AI cho người khác. MLX Node chạy các tác vụ AI cho MLX Network khi bạn không dùng Mac, trong giới hạn bạn đặt, và kiếm token MLX cho công việc đã được xác minh. MLX Harness có sẵn MLX Node. Token MLX có thể mất giá; hãy đọc phần rủi ro.
6Câu hỏi
- LM Studio có miễn phí cho công việc không?
- Có. Từ tháng 7/2025, LM Studio miễn phí cho cả cá nhân lẫn công việc; các gói trả phí dành cho nhóm và doanh nghiệp (LM Studio).
- Ollama có dùng MLX trên Mac không?
- Có, ở bản xem trước từ tháng 3/2026, trên Mac Apple Silicon có hơn 32 GB bộ nhớ, với các mô hình được hỗ trợ. Ngoài ra, Ollama chạy mô hình GGUF qua llama.cpp (Ollama).
- Ứng dụng nào chạy được cả mô hình MLX và GGUF?
- LM Studio và Jan chạy cả hai; Ollama chạy GGUF và, ở bản xem trước, MLX. MLX Harness và mlx-lm chỉ chạy MLX; llama.cpp chỉ chạy GGUF.
- Những ứng dụng LLM cục bộ nào là mã nguồn mở?
- MLX Harness (Apache 2.0), Ollama (MIT), Jan (Apache 2.0), llama.cpp (MIT) và mlx-lm (MIT). LM Studio công bố công cụ dòng lệnh, SDK và engine MLX theo giấy phép MIT, nhưng không công bố ứng dụng máy tính.
Nguồn
- MLX Harnessgithub.com
- LM Studio trên GitHubgithub.com
- LM Studio MLXlmstudio.ai
- Ollamagithub.com
- bản xem trước MLX của Ollamaollama.com
- Jangithub.com
- llama.cpp servergithub.com
- mlx-lm servergithub.com
- LM Studiolmstudio.ai
- yêu cầu hệ thốnglmstudio.ai
- nhật ký thay đổilmstudio.ai
- Ollamaollama.com
- tài liệudocs.ollama.com
- nhật ký thay đổijan.ai
- GitHubgithub.com
- GitHubgithub.com
- các bản phát hànhgithub.com