Mac tốt nhất để chạy LLM cục bộ.

1Vì sao bộ nhớ và băng thông quyết định tất cả

Mô hình ngôn ngữ viết từng token một, và với mỗi token nó đọc mọi trọng số đang hoạt động từ bộ nhớ. Vì vậy giới hạn tốc độ cho một cuộc hội thoại xấp xỉ bằng băng thông bộ nhớ chia cho kích thước các trọng số đang hoạt động. Trong benchmark công khai của llama.cpp, tốc độ sinh văn bản thực tế đạt 43% đến 80% giới hạn đó trên chip Apple (llama.cpp).

Đọc prompt thì khác: phần đó bị giới hạn bởi sức tính toán, vì vậy các chip thế hệ M5, với bộ tăng tốc nơ-ron trong GPU, xử lý prompt nhanh hơn vài lần so với các thế hệ trước (Apple).

2So sánh mọi chip

Các chip cũ vẫn chạy tốt khi có đủ bộ nhớ. M1 Max hoặc M2 Max với 64 GB đọc ở 400 GB/s, nhanh hơn mọi chip cơ bản hiện nay, và hàng cũ thường rẻ hơn nhiều.

3Nên mua Mac nào

Chỉ để thử: MacBook Air hoặc Mac mini với 16 đến 32 GB

Chạy thoải mái mô hình 7B đến 14B, và mô hình cỡ 30B khi có 32 GB. Đủ cho trò chuyện, viết lách và hỗ trợ lập trình nhẹ.

Đáng tiền nhất: chip Pro với 64 GB

Mac mini hoặc MacBook Pro với M4 Pro hay M5 Pro chứa được mô hình cỡ 70B và chạy mô hình cỡ trung ở tốc độ tốt. Điểm cân bằng cho đa số lập trình viên.

AI cục bộ nghiêm túc: chip Max với 128 GB

Chạy gpt-oss-120b (khoảng 65 GB ở 4-bit) trên laptop; theo số liệu băng thông của Apple, trần lý thuyết cho một luồng trên M5 Max là khoảng 225 token mỗi giây. Lựa chọn di động tốt nhất.

Cho các mô hình lớn nhất: Mac Studio với Ultra

Tới 512 GB với băng thông 1,2 TB/s trên M5 Ultra, đủ chứa mô hình hàng trăm tỷ tham số ngay trên một bàn làm việc. Với mô hình còn lớn hơn, có thể ghép nhiều Mac thành cụm qua Thunderbolt 5: xem cụm AI bằng Mac.

4Để chiếc Mac tự bù chi phí

Một chiếc Mac mua để chạy AI phần lớn thời gian chỉ ngồi chờ. MLX Node là ứng dụng miễn phí cho MLX Network mượn phần công suất nhàn rỗi đó, chạy tác vụ AI trên chính framework MLX và kiếm token MLX cho công việc đã được xác minh. Một ghế riêng hợp với chip sẽ nhân số MLX máy kiếm được: ghế Pro chạy hết mức trên chip Pro hoặc Max, ghế Ultra trên chip Ultra.

Hãy so sánh Mac của bạn trên MLX Bench trước: trang này hiển thị số token mỗi giây đo được với các mô hình mở trên mọi chip.

5Câu hỏi

16 GB có đủ để chạy LLM cục bộ không?

Đủ với mô hình tới khoảng 14B tham số ở 4-bit. Với mô hình lớn hơn hoặc ngữ cảnh dài, 32 GB trở lên sẽ thoải mái hơn nhiều.

Mac Studio hay MacBook Pro để chạy LLM?

Cả hai đều có chip Max và tới 128 GB. MacBook Pro mang đi được; Mac Studio mát hơn khi chạy tải lâu và là chiếc Mac duy nhất có chip Ultra với tới 512 GB.

Mac có tốt hơn GPU Nvidia để chạy AI cục bộ không?

Với các mô hình lớn nhất tại nhà thì thường là có: bộ nhớ hợp nhất của Mac chứa được nhiều hơn hẳn bộ nhớ của card đồ họa phổ thông. Card Nvidia cao cấp nhanh hơn với các mô hình vừa trong bộ nhớ của nó.

M5 có làm LLM chạy nhanh hơn không?

Có, chủ yếu ở khâu đọc prompt: Apple đo được token đầu tiên xuất hiện sớm hơn 3,3 đến 4,1 lần trên M5 so với M4 khi dùng MLX. Tốc độ sinh văn bản tăng theo băng thông bộ nhớ, vốn tăng 28% từ M4 lên M5.