Mac mini hay Mac Studio cho AI.

1Những thông số quan trọng với AI

Mỗi cấu hình dẫn tới các mô hình chạy tốt trên nó. Các đời trước cũng tính như vậy: Mac mini với M4 hoặc M4 Pro, và Mac Studio với M4 Max hoặc M3 Ultra (xếp hạng mọi Mac).

2Mỗi máy viết nhanh đến đâu

Khi viết văn bản, mô hình đọc trọng số đang hoạt động một lần cho mỗi token, nên băng thông bộ nhớ đặt ra mức trần cho tốc độ. Với một mô hình dense 32B ở 4-bit, khoảng 18 GB:

Mô hình mixture-of-experts chỉ đọc một phần nhỏ trọng số cho mỗi token, nên viết nhanh hơn nhiều so với kích thước của chúng: bộ nhớ quyết định có vừa hay không, băng thông vẫn quyết định nhịp độ. Đọc một prompt dài phụ thuộc vào sức tính toán của GPU hơn là băng thông, và ở đó GPU lớn hơn của chip Max và Ultra càng bỏ xa.

3Máy nào cho mô hình nào

• Mô hình nhỏ và vừa (tới khoảng 30B ở 4-bit), trò chuyện, trợ lý lập trình, máy chủ AI tại nhà: Mac mini M5 Pro với 48 hoặc 64 GB. Mac mini M6 32 GB chạy được cùng các cỡ đó với khoảng một nửa tốc độ.
• Mô hình cỡ 70B, gpt-oss-120b, ngữ cảnh dài hoặc nhiều mô hình cùng lúc: Mac Studio M5 Max với 128 GB. Tệp gpt-oss-120b chính thức của OpenAI khoảng 65 GB (OpenAI), nhiều hơn mức bất kỳ Mac mini nào có thể dành cho GPU.
• Các mô hình mở lớn nhất (hàng trăm tỷ tham số): Mac Studio M5 Ultra với 256 hoặc 512 GB, hoặc nhiều Mac ghép lại (cụm AI bằng Mac).

Với một mô hình cụ thể, trang của nó cho biết chiếc Mac nhỏ nhất chạy được và tốc độ trên mọi chip: mọi mô hình mở.

4Chạy suốt cả ngày

Cả hai đều là máy luôn bật êm và tiết kiệm điện. Theo số liệu của Apple ở trên, Mac mini dùng 4–6 W khi nghỉ và Mac Studio 7–9 W; khi chạy hết tải, Mac Studio M5 Ultra có thể dùng tới 385 W. Bài Mac mini làm máy chủ AI hướng dẫn giữ máy luôn thức và cung cấp mô hình cho thiết bị khác, còn Mac tốn bao nhiêu điện cho biết chi phí mỗi ngày.

Khi máy nhàn rỗi, MLX Node có thể chạy tác vụ AI cho MLX Network và kiếm MLX Tokens. Một ghế riêng hợp với chip sẽ đào nhanh hơn: Core cho M6, Pro cho M5 Pro và M5 Max, Ultra cho M5 Ultra. Thu nhập không được đảm bảo: hãy đọc rủi ro.

5Câu hỏi

Mac Studio có đáng tiền hơn Mac mini cho AI không?

Nếu bạn muốn chạy mô hình trên khoảng 85B tham số, gpt-oss-120b hay ngữ cảnh dài thì có: chỉ Mac Studio có hơn 64 GB. Với mô hình tới khoảng 30B ở 4-bit, Mac mini M5 Pro chạy được, với khoảng một nửa băng thông của M5 Max.

Mac mini có chạy được mô hình 70B không?

Chỉ bản M5 Pro 64 GB, ở 4-bit và với ngữ cảnh ngắn: khoảng 39 GB trọng số trong 48 GB mà GPU dùng được theo mặc định, với vài token mỗi giây. Mac Studio 128 GB chạy nó mà vẫn dư chỗ cho ngữ cảnh, và nhanh gấp khoảng hai lần.

Mac Studio M5 Max hay M5 Ultra để chạy LLM?

M5 Ultra có băng thông gấp khoảng hai lần (1.200 so với 614 GB/s), nên viết nhanh gấp khoảng hai lần, và có tới 512 GB. M5 Max 128 GB chạy được mô hình tới khoảng 170B ở 4-bit. Xem M5 Max vs M5 Ultra.

Mac mini M6 hay M5 Pro cho AI?

M5 Pro: nó đọc bộ nhớ nhanh hơn khoảng 80% so với M6 bản 24 hoặc 32 GB và có tới 64 GB thay vì 32 GB.