Làm sao biết một LLM có chạy được trên Mac của tôi?

So kích thước mô hình ở độ chính xác bạn muốn với bộ nhớ hợp nhất của Mac. Mặc định macOS cho GPU dùng khoảng 75% bộ nhớ đó, và mô hình còn cần chỗ cho ngữ cảnh. Mô hình 4-bit cần nhỉnh hơn nửa gigabyte cho mỗi tỷ tham số.

Tôi sẽ được bao nhiêu token mỗi giây?

Tốc độ viết bị giới hạn bởi băng thông bộ nhớ: mỗi token đọc trọng số đang hoạt động của mô hình một lần. Băng thông chia cho số byte đọc mỗi token là mức trần cho một cuộc trò chuyện; thực tế thường đạt khoảng 45% đến 80% mức đó.

Vì sao mô hình hỗn hợp chuyên gia (MoE) chạy nhanh hơn?

Chúng giữ nhiều chuyên gia trong bộ nhớ nhưng mỗi token chỉ dùng vài chuyên gia, nên mỗi token đọc ít byte hơn nhiều. Chúng cần bộ nhớ cho cả mô hình, nhưng chạy nhanh như một mô hình nhỏ hơn nhiều.

4-bit có đủ tốt không?

Với hầu hết mô hình, 4-bit giữ chất lượng gần với bản gốc. Dưới 4 bit chất lượng giảm nhanh hơn, vì thế các phiên bản dưới 4 bit đều được đánh dấu.

Mac của bạn chạy được gì?

Chọn Mac của bạn, hoặc bất kỳ máy nào khác, để xem mô hình AI mở nào vừa bộ nhớ và máy chạy chúng nhanh đến đâu. Tính từ thẻ mô hình của từng mô hình và thông số bộ nhớ, băng thông đã công bố của từng chip.

Máy của bạn

Apple M5 với 16 GB: mặc định khoảng 12 GB cho mô hình, băng thông bộ nhớ 153 GB/s. 20 trên 43 mô hình phổ biến chạy được. Trang riêng Đo thực tế: 32 token/giây với Llama 2 7B 4-bit trong llama.cpp (M5 (10-core GPU)).

Chạy tốt Vừa bộ nhớ, còn chỗ cho ngữ cảnh, từ 10 token mỗi giây trở lên.

Gemma 4 E4BGoogle DeepMind · 2026-03 · ngữ cảnh 128K · hình ảnhTrí tuệ 8,9Thẻ mô hình Bản MLX8B8-bit8,5 GB Vừa14–26 tok/s

Qwen3.5 4BQwen (Alibaba) · 2026-02 · ngữ cảnh 256K · hình ảnhThẻ mô hình Bản MLX4B8-bit4,3 GB Vừa16–28 tok/s

Llama 3.2 3B InstructMeta · 2024-09 · ngữ cảnh 128KThẻ mô hình Bản MLX3,21B8-bit3,4 GB Vừa20–36 tok/s

SmolLM3 3BHugging Face · 2025-07 · ngữ cảnh 64KThẻ mô hình Bản MLX3B8-bit3,2 GB Vừa22–38 tok/s

Qwen3.5 0.8BQwen (Alibaba) · 2026-02 · ngữ cảnh 256K · hình ảnhThẻ mô hình Bản MLX0,8B8-bit0,9 GB Vừa77–136 tok/s

Nemotron 3.5 Lightning 30B A3BNVIDIA · 2026-08 · ngữ cảnh 256KTrí tuệ 12,9Thẻ mô hình Bản MLX30B · 3B hoạt động2-bit chất lượng thấp hơn9,4 GB Vừa77–136 tok/s

gpt-oss-20bOpenAI · 2025-08 · ngữ cảnh 128KTrí tuệ 9Thẻ mô hình Bản MLX21B · 3,6B hoạt động3-bit chất lượng thấp hơn9,2 GB Vừa43–77 tok/s

Phát hành ở định dạng bit thấp gốc: trọng số khoảng 14 GB.

Qwen3 Coder 30B A3B InstructQwen (Alibaba) · 2025-07 · ngữ cảnh 256KThẻ mô hình Bản MLX30,5B · 3,3B hoạt động2-bit chất lượng thấp hơn9,5 GB Vừa69–122 tok/s

GLM-4.7 FlashZ.ai (Zhipu) · 2026-01 · ngữ cảnh 198KThẻ mô hình Bản MLX30B · 3B hoạt động2-bit chất lượng thấp hơn9,4 GB Vừa77–136 tok/s

Gemma 4 26B A4BGoogle DeepMind · 2026-03 · ngữ cảnh 256K · hình ảnhThẻ mô hình Bản MLX25,2B · 3,8B hoạt động2-bit chất lượng thấp hơn7,9 GB Vừa57–102 tok/s

LFM2.5 24B A2BLiquid AI · 2026-10 · ngữ cảnh 128KThẻ mô hình Bản MLX24B · 2B hoạt động3-bit chất lượng thấp hơn10,5 GB Vừa77–136 tok/s

Chạy được, nhưng chậm Vừa bộ nhớ, nhưng dưới 10 token mỗi giây: ổn cho xử lý hàng loạt, chậm khi trò chuyện.

Qwen3.5 9BQwen (Alibaba) · 2026-02 · ngữ cảnh 256K · hình ảnhTrí tuệ 11,2Thẻ mô hình Bản MLX9B8-bit9,6 GB Vừa7–13 tok/s

Granite 4.2 8BIBM · 2026-08 · ngữ cảnh 128KTrí tuệ 11,1Thẻ mô hình8B8-bit8,5 GB Vừa8–14 tok/s

Phi-4 (14B)Microsoft · 2024-12 · ngữ cảnh 16KThẻ mô hình Bản MLX14B4-bit7,9 GB Vừa9–15 tok/s

Gemma 4 12B UnifiedGoogle DeepMind · 2026-05 · ngữ cảnh 256K · hình ảnhThẻ mô hình Bản MLX12B6-bit9,7 GB Vừa7–13 tok/s

Llama 3.1 8B InstructMeta · 2024-07 · ngữ cảnh 128KThẻ mô hình Bản MLX8B8-bit8,5 GB Vừa8–14 tok/s

Qwen3.8 27BQwen (Alibaba) · 2026-08 · ngữ cảnh 256K · hình ảnhTrí tuệ 33,7Thẻ mô hình Bản MLX27B2-bit chất lượng thấp hơn8,4 GB Vừa8–15 tok/s

Muse Glimmer 30BMeta (Meta Superintelligence Lab) · 2026-08 · ngữ cảnh 128K · hình ảnhTrí tuệ 17,5Thẻ mô hình Bản MLX29,6B2-bit chất lượng thấp hơn9,3 GB Vừa7–13 tok/s

Gemma 4 31BGoogle DeepMind · 2026-03 · ngữ cảnh 256K · hình ảnhTrí tuệ 14,7Thẻ mô hình Bản MLX30,7B2-bit chất lượng thấp hơn9,6 GB Vừa7–13 tok/s

Devstral Small 2 (24B)Mistral AI · 2025-11 · ngữ cảnh 256K · hình ảnhThẻ mô hình Bản MLX24B3-bit chất lượng thấp hơn10,5 GB Vừa7–12 tok/s

Vừa đủ chỗ Cần gần hết bộ nhớ: hãy nâng giới hạn bộ nhớ GPU và giữ ngữ cảnh ngắn.

Qwen3.6 35B A3BQwen (Alibaba) · 2026-04 · ngữ cảnh 256K · hình ảnhTrí tuệ 18,2Thẻ mô hình Bản MLX35B · 3B hoạt động2-bit chất lượng thấp hơn10,9 GB Vừa khít77–136 tok/s

Trí tuệ: Artificial Analysis Intelligence Index v4.3.2, nếu đã đo. Tên mô hình liên kết tới thẻ chính thức.

Cách tính

Bộ nhớ. Mỗi mô hình được hiển thị ở độ chính xác cao nhất còn vừa: 8, 6, 4, 3 hoặc 2 bit mỗi trọng số, cộng hệ số tỷ lệ theo nhóm của MLX (nửa bit mỗi trọng số), hoặc theo định dạng gốc nếu mô hình được phát hành như vậy. Trên Mac, GPU mặc định dùng được khoảng 75% bộ nhớ hợp nhất; chúng tôi chừa thêm chỗ cho ngữ cảnh.

Tốc độ. Khi viết, mỗi token đọc toàn bộ trọng số đang hoạt động một lần, nên băng thông bộ nhớ chia cho số byte đó là mức trần cho một cuộc trò chuyện. Trong benchmark Apple Silicon công khai của llama.cpp, các lần chạy thực tế đạt khoảng 45% đến 80% mức trần, và đó là khoảng được hiển thị. Việc đọc một prompt dài phụ thuộc vào sức tính toán nên không được hiển thị.

Nguồn. Số tham số, ngữ cảnh và giấy phép lấy từ thẻ chính thức của từng mô hình trên Hugging Face (liên kết từ tên mô hình); bộ nhớ và băng thông lấy từ thông số của Apple và các hãng. Kiểm tra ngày 2026-10-19. Đo chính Mac của bạn trên MLX Bench. Mọi Mac, mọi mô hình và toàn bộ bảng tương thích đều tải miễn phí dạng JSON và CSV: dữ liệu mở.

Duyệt. Mọi Mac, từ M1 8 GB đến M5 Ultra 512 GB, cùng mọi mô hình chạy được trên đó, và mọi mô hình cùng chiếc Mac nhỏ nhất mà nó cần.

Chạy thử. Từng bước: tải và chạy LLM trên Mac, MLX, Ollama hay llama.cpp và Mac tốt nhất cho LLM cục bộ. Khi Mac rảnh, nó có thể kiếm MLX Token.

Làm sao biết một LLM có chạy được trên Mac của tôi?: So kích thước mô hình ở độ chính xác bạn muốn với bộ nhớ hợp nhất của Mac. Mặc định macOS cho GPU dùng khoảng 75% bộ nhớ đó, và mô hình còn cần chỗ cho ngữ cảnh. Mô hình 4-bit cần nhỉnh hơn nửa gigabyte cho mỗi tỷ tham số.
Tôi sẽ được bao nhiêu token mỗi giây?: Tốc độ viết bị giới hạn bởi băng thông bộ nhớ: mỗi token đọc trọng số đang hoạt động của mô hình một lần. Băng thông chia cho số byte đọc mỗi token là mức trần cho một cuộc trò chuyện; thực tế thường đạt khoảng 45% đến 80% mức đó.
Vì sao mô hình hỗn hợp chuyên gia (MoE) chạy nhanh hơn?: Chúng giữ nhiều chuyên gia trong bộ nhớ nhưng mỗi token chỉ dùng vài chuyên gia, nên mỗi token đọc ít byte hơn nhiều. Chúng cần bộ nhớ cho cả mô hình, nhưng chạy nhanh như một mô hình nhỏ hơn nhiều.
4-bit có đủ tốt không?: Với hầu hết mô hình, 4-bit giữ chất lượng gần với bản gốc. Dưới 4 bit chất lượng giảm nhanh hơn, vì thế các phiên bản dưới 4 bit đều được đánh dấu.