Mac ที่ดีที่สุดสำหรับรัน LLM บนเครื่อง

1ทำไมหน่วยความจำและแบนด์วิดท์จึงกำหนดทุกอย่าง

โมเดลภาษาเขียนทีละโทเค็น และสำหรับแต่ละโทเค็นจะอ่านค่าน้ำหนักที่ใช้งานอยู่ทั้งหมดจากหน่วยความจำ ขีดจำกัดความเร็วของการสนทนาหนึ่งสายจึงประมาณเท่ากับแบนด์วิดท์หน่วยความจำหารด้วยขนาดของค่าน้ำหนักที่ใช้งาน ในผลเบนช์มาร์กสาธารณะของ llama.cpp การสร้างข้อความจริงทำได้ 43% ถึง 80% ของขีดจำกัดนั้นบนชิป Apple (llama.cpp)

การอ่านพรอมต์ต่างออกไป ส่วนนั้นถูกจำกัดด้วยพลังคำนวณ ชิปรุ่น M5 ที่มีตัวเร่งนิวรัลใน GPU จึงประมวลผลพรอมต์ได้เร็วกว่ารุ่นก่อนหลายเท่า (Apple)

2เทียบทุกชิป

ชิปรุ่นเก่ายังทำงานได้ดีถ้ามีหน่วยความจำพอ M1 Max หรือ M2 Max กับ 64 GB อ่านได้ที่ 400 GB/s มากกว่าชิปรุ่นพื้นฐานทุกตัวในวันนี้ และเครื่องมือสองมักถูกกว่ามาก

3ควรซื้อ Mac รุ่นไหน

แค่อยากลอง: MacBook Air หรือ Mac mini กับ 16 ถึง 32 GB

รันโมเดล 7B ถึง 14B ได้สบาย และโมเดลระดับ 30B ได้เมื่อมี 32 GB เพียงพอสำหรับแชต งานเขียน และช่วยเขียนโค้ดเบา ๆ

คุ้มที่สุด: ชิป Pro กับ 64 GB

Mac mini หรือ MacBook Pro ที่ใช้ M4 Pro หรือ M5 Pro รองรับโมเดลระดับ 70B และรันโมเดลขนาดกลางได้ความเร็วดี เป็นจุดที่ลงตัวสำหรับนักพัฒนาส่วนใหญ่

AI บนเครื่องแบบจริงจัง: ชิป Max กับ 128 GB

รัน gpt-oss-120b (ราว 65 GB ที่ 4 บิต) บนแล็ปท็อปได้ จากตัวเลขแบนด์วิดท์ของ Apple เพดานทางทฤษฎีของหนึ่งสตรีมบน M5 Max คือราว 225 โทเค็นต่อวินาที ตัวเลือกแบบพกพาที่ดีที่สุด

โมเดลใหญ่ที่สุด: Mac Studio กับ Ultra

สูงสุด 512 GB ที่ 1.2 TB/s กับ M5 Ultra รองรับโมเดลหลายแสนล้านพารามิเตอร์บนโต๊ะเดียว สำหรับโมเดลที่ใหญ่กว่านั้น ต่อ Mac หลายเครื่องเป็นคลัสเตอร์ผ่าน Thunderbolt 5 ได้ ดูคลัสเตอร์ AI ด้วย Mac

4ให้ Mac คืนทุนตัวเอง

Mac ที่ซื้อมาเพื่อ AI ใช้เวลาส่วนใหญ่ไปกับการรอ MLX Node เป็นแอปฟรีที่ให้ MLX Network ยืมกำลังที่ว่างอยู่นั้น รันงาน AI บนเฟรมเวิร์ก MLX ตัวเดียวกัน และได้รับโทเค็น MLX สำหรับงานที่ผ่านการตรวจสอบ ที่นั่งเฉพาะที่ตรงกับชิปจะทวีคูณสิ่งที่ได้รับ: ที่นั่ง Pro รันเต็มอัตราบนชิป Pro หรือ Max ที่นั่ง Ultra บนชิป Ultra

เทียบ Mac ของคุณบน MLX Bench ก่อน ที่นั่นแสดงโทเค็นต่อวินาทีที่วัดได้จริงของโมเดลแบบเปิดบนทุกชิป

5คำถาม

16 GB พอสำหรับรัน LLM บนเครื่องไหม

พอสำหรับโมเดลถึงราว 14B พารามิเตอร์ที่ 4 บิต สำหรับโมเดลที่ใหญ่กว่าหรือคอนเท็กซ์ยาว ๆ 32 GB ขึ้นไปจะสบายกว่ามาก

Mac Studio หรือ MacBook Pro ดีกว่าสำหรับ LLM

ทั้งคู่มีชิป Max และหน่วยความจำสูงสุด 128 GB MacBook Pro พกพาได้ ส่วน Mac Studio เย็นกว่าเมื่อทำงานหนักนาน ๆ และเป็น Mac รุ่นเดียวที่มีชิป Ultra และหน่วยความจำสูงสุด 512 GB

Mac ดีกว่า GPU ของ Nvidia สำหรับ AI บนเครื่องไหม

สำหรับโมเดลที่ใหญ่ที่สุดที่บ้าน มักจะใช่ หน่วยความจำแบบรวมของ Mac จุได้มากกว่าหน่วยความจำของการ์ดจอทั่วไปมาก แต่การ์ด Nvidia ระดับสูงเร็วกว่ากับโมเดลที่ใส่ในหน่วยความจำของการ์ดได้

M5 ทำให้ LLM เร็วขึ้นไหม

ใช่ หลัก ๆ คือการอ่านพรอมต์ Apple วัดได้ว่าโทเค็นแรกมาถึงเร็วกว่า 3.3 ถึง 4.1 เท่าบน M5 เมื่อเทียบกับ M4 เมื่อใช้ MLX ความเร็วการสร้างข้อความเพิ่มตามแบนด์วิดท์หน่วยความจำ ซึ่งเพิ่มขึ้น 28% จาก M4 เป็น M5