1สเปกที่สำคัญสำหรับ AI
| หน่วยความจำแบบรวม | 32 GB |
|---|---|
| แบนด์วิดท์หน่วยความจำ | 120 GB/s |
| มีใน | MacBook Air (2025), 14-inch MacBook Pro (2024), Mac mini (2024), iMac (2024) |
| ที่นั่งเฉพาะสำหรับชิปนี้ | ที่นั่ง Core: ขุดได้สูงสุด 20 MLX ต่อวัน |
2รันโมเดลไหนได้บ้าง
ที่ 4 บิตต่อน้ำหนัก โมเดลต้องใช้หน่วยความจำมากกว่าครึ่งกิกะไบต์เล็กน้อยต่อพันล้านพารามิเตอร์ บวกพื้นที่สำหรับบริบทและ macOS ด้วย 32 GB M4 รองรับโมเดลได้สบายถึงราว 42 พันล้านพารามิเตอร์
| โมเดล 4 บิต | หน่วยความจำที่ต้องใช้ | รันบน M4 ได้ไหม |
|---|---|---|
| โมเดล 8B | 4.5 GB | ได้ |
| โมเดล 14B | 7.9 GB | ได้ |
| โมเดล 32B | 18 GB | ได้ |
| โมเดล 70B | 39.4 GB | ไม่ได้ |
| gpt-oss-120b แบบ mixture-of-experts | 65 GB | ไม่ได้ |
| Qwen3.5-397B-A17B แบบ mixture-of-experts | 223.3 GB | ไม่ได้ |
| DeepSeek-V4.1-Flash แบบ mixture-of-experts | 316 GB | ไม่ได้ |
3เร็วแค่ไหน
ความเร็วในการเขียนข้อความถูกจำกัดด้วยแบนด์วิดท์หน่วยความจำ: ทุกโทเค็นใหม่ต้องอ่านน้ำหนักที่ใช้งานของโมเดลหนึ่งรอบ นำ 120 GB/s ของ M4 หารด้วยจำนวนไบต์ที่อ่านต่อโทเค็นจะได้เพดานด้านล่าง การรันจริงมักได้ราว 45% ถึง 80% ของเพดานนั้น (ผลทดสอบ llama.cpp)
| โมเดล 4 บิต | อ่านต่อโทเค็น | เพดานต่อหนึ่งแชต |
|---|---|---|
| โมเดล 8B | 4.5 GB | 27 โทเค็น/วินาที |
| โมเดล 14B | 7.9 GB | 15 โทเค็น/วินาที |
| โมเดล 32B | 18 GB | 7 โทเค็น/วินาที |
5เทียบกับชิปอื่น
6คำถาม
- M4 รันโมเดล 70B ได้ไหม?
- ไม่สบายนัก โมเดล 70B แบบ 4 บิตต้องใช้ราว 40 GB แต่ M4 มีสูงสุดเพียง 32 GB โมเดลขนาดถึงราว 42B พารามิเตอร์รันได้ดี
- M4 ได้กี่โทเค็นต่อวินาที?
- สำหรับโมเดล 8B แบบ 4 บิต เพดานอยู่ที่ราว 27 โทเค็นต่อวินาที และการรันจริงได้ราวครึ่งหนึ่งถึงสี่ในห้าของค่านั้น โมเดลที่ใหญ่กว่าจะช้าลงตามสัดส่วน
- M4 เหมาะกับ AI ไหม?
- สำหรับการรันโมเดลบนเครื่อง หน่วยความจำและแบนด์วิดท์สำคัญที่สุด M4 มีสูงสุด 32 GB ที่ 120 GB/s พอสำหรับโมเดลถึงราว 42 พันล้านพารามิเตอร์ และยังสร้างรายได้ได้ด้วยการรันงาน AI ให้ MLX Network ผ่าน MLX Node
แหล่งที่มา
- Apple: Mac mini (2024) specssupport.apple.com
- llama.cpp: Apple Silicon benchmarksgithub.com