Chạy LLM trên Mac của bạn.

1Mac của bạn chạy được mô hình nào

Trọng số của mô hình phải nằm vừa trong bộ nhớ, còn dư chỗ cho ngữ cảnh và macOS. Ở mức 4 bit mỗi trọng số, hãy tính khoảng 0,55 đến 0,6 GB cho mỗi tỷ tham số.

Tốc độ là chuyện khác: mỗi token mới cần đọc các trọng số đang hoạt động từ bộ nhớ một lần, nên số token mỗi giây tăng theo băng thông bộ nhớ. Hướng dẫn chọn Mac tốt nhất để chạy LLM cục bộ đề cập mọi chip.

2Cách dễ nhất: LM Studio

LM Studio là ứng dụng Mac miễn phí có cửa sổ trò chuyện và trình duyệt mô hình. Trên Apple Silicon, ứng dụng chạy được cả mô hình định dạng MLX của Apple lẫn định dạng GGUF mà llama.cpp dùng.

1. Tải LM Studio và mở ứng dụng.
2. Tìm một mô hình, ưu tiên bản MLX trên Apple Silicon, và chọn kích cỡ vừa với bộ nhớ của bạn.
3. Nạp mô hình và bắt đầu trò chuyện. Bạn cũng có thể bật máy chủ cục bộ của ứng dụng cho các ứng dụng khác dùng.

3Một lệnh: Ollama

Ollama chạy mô hình từ Terminal và cung cấp chúng cho các ứng dụng khác trên Mac. Sau khi cài, một lệnh duy nhất sẽ tải về và khởi chạy mô hình:

ollama run llama3.2

Từ phiên bản 0.19, Ollama trên Apple Silicon có bản xem trước chạy bằng framework MLX của Apple cho các mô hình được hỗ trợ, tăng tốc đáng kể; bản xem trước yêu cầu Mac có hơn 32 GB bộ nhớ (Ollama).

4Cách nhanh nhất: MLX của Apple và mlx-lm

MLX là framework học máy mã nguồn mở của Apple cho Apple Silicon, và mlx-lm là gói dành cho mô hình ngôn ngữ. Hàng nghìn mô hình có sẵn để dùng từ tổ chức mlx-community trên Hugging Face.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

Dùng mlx_lm.chat để trò chuyện trong Terminal và mlx_lm.server để có API cục bộ cho các ứng dụng khác gọi. Trên chip M5, MLX dùng các bộ tăng tốc nơ-ron mới trong GPU: Apple đo được token đầu tiên xuất hiện sớm hơn 3,3 đến 4,1 lần so với M4 (Apple Machine Learning Research).

5Đo tốc độ, rồi cho máy làm việc

MLX Bench là bảng xếp hạng mở về tốc độ MLX trên mọi chip Apple Silicon: số token mỗi giây khi sinh văn bản và khi đọc prompt, cùng bộ nhớ đỉnh. Chạy script một tệp trên Mac của bạn và xem máy đứng ở đâu.

Khi bạn không dùng, Mac có thể chạy AI cho người khác. MLX Node là ứng dụng miễn phí chạy tác vụ AI cho MLX Network trên chính framework MLX và kiếm token MLX cho công việc đã được xác minh, trong giới hạn bạn đặt.

6Câu hỏi

MacBook Air có chạy được LLM không?

Có. MacBook Air 16 GB chạy thoải mái mô hình 7B đến 14B ở 4-bit; với 32 GB, mô hình tới khoảng 30B. Máy sẽ chậm hơn Mac dùng chip Pro hoặc Max, vốn có băng thông bộ nhớ cao hơn.

MLX có nhanh hơn Ollama trên Mac không?

Thường là có, vì MLX được viết cho Apple Silicon. Chính bản xem trước chạy bằng MLX của Ollama cũng ghi nhận mức tăng tốc lớn trên Apple Silicon. Hướng dẫn MLX và Ollama của chúng tôi so sánh chi tiết.

Mô hình cục bộ có chạy offline không?

Có. Sau khi tải về, mô hình chạy hoàn toàn trên Mac và prompt của bạn không bao giờ rời khỏi máy.

Mô hình 70B cần bao nhiêu bộ nhớ?

Khoảng 40 GB cho trọng số ở 4-bit, nên cần Mac có 64 GB trở lên. Mô hình mixture-of-experts có chất lượng tương đương có thể cần nhiều bộ nhớ hơn nhưng chạy nhanh hơn.