1สเปกที่สำคัญสำหรับ AI
| หน่วยความจำแบบรวม | 32 GB |
|---|---|
| แบนด์วิดท์หน่วยความจำ | 200 GB/s |
| มีใน | 14- and 16-inch MacBook Pro (2023), Mac mini (2023) |
| ที่นั่งเฉพาะสำหรับชิปนี้ | ที่นั่ง Pro: ขุดได้สูงสุด 80 MLX ต่อวัน |
2รันโมเดลไหนได้บ้าง
ที่ 4 บิตต่อน้ำหนัก โมเดลต้องใช้หน่วยความจำมากกว่าครึ่งกิกะไบต์เล็กน้อยต่อพันล้านพารามิเตอร์ บวกพื้นที่สำหรับบริบทและ macOS ด้วย 32 GB M2 Pro รองรับโมเดลได้สบายถึงราว 42 พันล้านพารามิเตอร์
| โมเดล 4 บิต | หน่วยความจำที่ต้องใช้ | รันบน M2 Pro ได้ไหม |
|---|---|---|
| โมเดล 8B | 4.5 GB | ได้ |
| โมเดล 14B | 7.9 GB | ได้ |
| โมเดล 32B | 18 GB | ได้ |
| โมเดล 70B | 39.4 GB | ไม่ได้ |
| gpt-oss-120b แบบ mixture-of-experts | 65 GB | ไม่ได้ |
| Qwen3.5-397B-A17B แบบ mixture-of-experts | 223.3 GB | ไม่ได้ |
| DeepSeek-V4.1-Flash แบบ mixture-of-experts | 316 GB | ไม่ได้ |
3เร็วแค่ไหน
ความเร็วในการเขียนข้อความถูกจำกัดด้วยแบนด์วิดท์หน่วยความจำ: ทุกโทเค็นใหม่ต้องอ่านน้ำหนักที่ใช้งานของโมเดลหนึ่งรอบ นำ 200 GB/s ของ M2 Pro หารด้วยจำนวนไบต์ที่อ่านต่อโทเค็นจะได้เพดานด้านล่าง การรันจริงมักได้ราว 45% ถึง 80% ของเพดานนั้น (ผลทดสอบ llama.cpp)
| โมเดล 4 บิต | อ่านต่อโทเค็น | เพดานต่อหนึ่งแชต |
|---|---|---|
| โมเดล 8B | 4.5 GB | 44 โทเค็น/วินาที |
| โมเดล 14B | 7.9 GB | 25 โทเค็น/วินาที |
| โมเดล 32B | 18 GB | 11 โทเค็น/วินาที |
5เทียบกับชิปอื่น
6คำถาม
- M2 Pro รันโมเดล 70B ได้ไหม?
- ไม่สบายนัก โมเดล 70B แบบ 4 บิตต้องใช้ราว 40 GB แต่ M2 Pro มีสูงสุดเพียง 32 GB โมเดลขนาดถึงราว 42B พารามิเตอร์รันได้ดี
- M2 Pro ได้กี่โทเค็นต่อวินาที?
- สำหรับโมเดล 8B แบบ 4 บิต เพดานอยู่ที่ราว 44 โทเค็นต่อวินาที และการรันจริงได้ราวครึ่งหนึ่งถึงสี่ในห้าของค่านั้น โมเดลที่ใหญ่กว่าจะช้าลงตามสัดส่วน
- M2 Pro เหมาะกับ AI ไหม?
- สำหรับการรันโมเดลบนเครื่อง หน่วยความจำและแบนด์วิดท์สำคัญที่สุด M2 Pro มีสูงสุด 32 GB ที่ 200 GB/s พอสำหรับโมเดลถึงราว 42 พันล้านพารามิเตอร์ และยังสร้างรายได้ได้ด้วยการรันงาน AI ให้ MLX Network ผ่าน MLX Node
แหล่งที่มา
- Apple: M2 Pro and M2 Maxapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com