Tóm tắt nhanh
- MLX là framework học máy của Apple cho Apple Silicon. mlx-lm chạy mô hình ngôn ngữ trên nền đó.
- llama.cpp là engine suy luận C/C++ tốc độ cao, chạy mô hình GGUF trên gần như mọi phần cứng, kể cả Mac qua Metal.
- Ollama là giao diện dễ dùng: một lệnh để tải và chạy mô hình, kèm API cục bộ. Trên Apple Silicon, Ollama nay có bản xem trước chạy bằng MLX.
- Muốn kết quả nhanh nhất, thuần Mac thì dùng MLX; muốn nhiều lựa chọn mô hình và nền tảng nhất thì dùng llama.cpp; muốn bắt đầu dễ nhất thì dùng Ollama hoặc LM Studio.
1Mỗi công cụ là gì
| MLX (mlx-lm) | llama.cpp | Ollama | |
|---|---|---|---|
| Nhà phát triển | Apple, mã nguồn mở (MIT) | Cộng đồng mã nguồn mở | Ollama, mã nguồn mở |
| Chạy trên | Apple Silicon | Mac, Windows, Linux, nhiều loại GPU | Mac, Windows, Linux |
| Định dạng mô hình | MLX (safetensors) | GGUF | Thư viện riêng; GGUF và, ở bản xem trước, MLX trên Mac |
| Phù hợp nhất cho | Tốc độ và nghiên cứu trên Mac | Tính di động, nhiều lựa chọn lượng tử hóa | Dễ dùng, ứng dụng cần API |
| Huấn luyện và tinh chỉnh | Có (LoRA và toàn phần) | Hạn chế | Không |
2Tốc độ trên Apple Silicon
Cả ba đều bị giới hạn bởi cùng một yếu tố khi sinh văn bản: băng thông bộ nhớ. Khác biệt đến từ việc mỗi công cụ tận dụng GPU tốt đến đâu và mô hình được lượng tử hóa thế nào.
MLX được viết cho bộ nhớ hợp nhất của Apple Silicon và, trên chip M5, dùng các bộ tăng tốc nơ-ron trong GPU: Apple đo được thời gian ra token đầu tiên nhanh hơn 3,3 đến 4,1 lần so với M4 (Apple). Tháng 3/2026, Ollama bắt đầu chuyển sang MLX trên Apple Silicon trong một bản xem trước với mức tăng tốc lớn cho các mô hình được hỗ trợ (Ollama), điều nói lên khá nhiều về hướng đi của hiệu năng trên Mac.
llama.cpp vẫn rất nhanh và được đo đạc kỹ trên Mac; chuỗi thảo luận benchmark công khai của dự án là tài liệu tham khảo tốt nhất để so sánh các chip (llama.cpp). Để xem số liệu riêng của MLX, hãy vào MLX Bench.
3Nên dùng cái nào
- Bạn muốn trò chuyện với một mô hình ngay hôm nay: LM Studio (ứng dụng chạy được cả mô hình MLX lẫn GGUF) hoặc Ollama.
- Bạn đang xây ứng dụng cần API cục bộ: Ollama, hoặc
mlx_lm.serverđể có endpoint tương thích OpenAI trên MLX. - Bạn muốn tốc độ cao nhất từ Mac, hoặc muốn tinh chỉnh mô hình: MLX với mlx-lm.
- Bạn cần cùng một thiết lập trên Mac, Linux và Windows, hoặc một mức lượng tử hóa GGUF cụ thể: llama.cpp.
Hướng dẫn từng bước chạy LLM trên Mac của chúng tôi đề cập tất cả các công cụ này.
4MLX vượt ra ngoài một chiếc Mac
MLX còn chạy trên nhiều máy Mac cùng lúc, qua Thunderbolt 5 với RDMA (cụm AI bằng Mac). Và đây là động cơ của MLX Network: MLX Node chạy tác vụ AI trên framework MLX cho mạng lưới và kiếm token MLX cho công việc đã được xác minh. MLX Network là một dự án độc lập, không do Apple phát triển; đây là điểm khác biệt.
5Câu hỏi
- MLX có nhanh hơn llama.cpp không?
- Trên Apple Silicon, MLX thường nhanh bằng hoặc nhanh hơn khi sinh văn bản, và đặc biệt khi xử lý prompt trên chip M5. Kết quả khác nhau tùy mô hình và mức lượng tử hóa, nên hãy so sánh trên chính Mac của bạn.
- Ollama có dùng được MLX không?
- Có, ở bản xem trước từ Ollama 0.19 trên Apple Silicon, cho các mô hình được hỗ trợ, trên Mac có hơn 32 GB bộ nhớ.
- Mô hình MLX và GGUF có khác nhau không?
- Đó là hai định dạng tệp khác nhau cho cùng loại mô hình. Nhiều mô hình phổ biến được phát hành ở cả hai định dạng; tổ chức mlx-community trên Hugging Face có hàng nghìn bản chuyển đổi sang MLX.