1สเปกที่สำคัญสำหรับ AI
| หน่วยความจำแบบรวม | 64 GB |
|---|---|
| แบนด์วิดท์หน่วยความจำ | 273 GB/s |
| มีใน | Mac mini (2024), 14- and 16-inch MacBook Pro (2024) |
| ที่นั่งเฉพาะสำหรับชิปนี้ | ที่นั่ง Pro: ขุดได้สูงสุด 80 MLX ต่อวัน |
2รันโมเดลไหนได้บ้าง
ที่ 4 บิตต่อน้ำหนัก โมเดลต้องใช้หน่วยความจำมากกว่าครึ่งกิกะไบต์เล็กน้อยต่อพันล้านพารามิเตอร์ บวกพื้นที่สำหรับบริบทและ macOS ด้วย 64 GB M4 Pro รองรับโมเดลได้สบายถึงราว 85 พันล้านพารามิเตอร์
| โมเดล 4 บิต | หน่วยความจำที่ต้องใช้ | รันบน M4 Pro ได้ไหม |
|---|---|---|
| โมเดล 8B | 4.5 GB | ได้ |
| โมเดล 14B | 7.9 GB | ได้ |
| โมเดล 32B | 18 GB | ได้ |
| โมเดล 70B | 39.4 GB | ได้ |
| gpt-oss-120b แบบ mixture-of-experts | 65 GB | ไม่ได้ |
| Qwen3.5-397B-A17B แบบ mixture-of-experts | 223.3 GB | ไม่ได้ |
| DeepSeek-V4.1-Flash แบบ mixture-of-experts | 316 GB | ไม่ได้ |
3เร็วแค่ไหน
ความเร็วในการเขียนข้อความถูกจำกัดด้วยแบนด์วิดท์หน่วยความจำ: ทุกโทเค็นใหม่ต้องอ่านน้ำหนักที่ใช้งานของโมเดลหนึ่งรอบ นำ 273 GB/s ของ M4 Pro หารด้วยจำนวนไบต์ที่อ่านต่อโทเค็นจะได้เพดานด้านล่าง การรันจริงมักได้ราว 45% ถึง 80% ของเพดานนั้น (ผลทดสอบ llama.cpp)
| โมเดล 4 บิต | อ่านต่อโทเค็น | เพดานต่อหนึ่งแชต |
|---|---|---|
| โมเดล 8B | 4.5 GB | 61 โทเค็น/วินาที |
| โมเดล 14B | 7.9 GB | 35 โทเค็น/วินาที |
| โมเดล 32B | 18 GB | 15 โทเค็น/วินาที |
| โมเดล 70B | 39.4 GB | 7 โทเค็น/วินาที |
5เทียบกับชิปอื่น
6คำถาม
- M4 Pro รันโมเดล 70B ได้ไหม?
- ได้ โมเดล 70B แบบ 4 บิตต้องใช้ราว 40 GB และ M4 Pro มีสูงสุด 64 GB เพดานต่อหนึ่งแชตอยู่ที่ราว 7 โทเค็นต่อวินาที
- M4 Pro ได้กี่โทเค็นต่อวินาที?
- สำหรับโมเดล 8B แบบ 4 บิต เพดานอยู่ที่ราว 61 โทเค็นต่อวินาที และการรันจริงได้ราวครึ่งหนึ่งถึงสี่ในห้าของค่านั้น โมเดลที่ใหญ่กว่าจะช้าลงตามสัดส่วน
- M4 Pro เหมาะกับ AI ไหม?
- สำหรับการรันโมเดลบนเครื่อง หน่วยความจำและแบนด์วิดท์สำคัญที่สุด M4 Pro มีสูงสุด 64 GB ที่ 273 GB/s พอสำหรับโมเดลถึงราว 85 พันล้านพารามิเตอร์ และยังสร้างรายได้ได้ด้วยการรันงาน AI ให้ MLX Network ผ่าน MLX Node
แหล่งที่มา
- Apple: M4 Pro and M4 Maxapple.com
- Apple: Mac mini (2024) specssupport.apple.com