เข้าสู่ระบบสร้างวอลเล็ต

M1 สำหรับ AI บนเครื่อง

M1 มีหน่วยความจำแบบรวมสูงสุด 16 GB อ่านได้เร็วสูงสุด 68 GB/s นี่คือความหมายของตัวเลขเหล่านี้เมื่อรันโมเดลภาษาบน Mac ที่ใช้ชิปนี้ คำนวณจากตัวเลขของ Apple เอง

1สเปกที่สำคัญสำหรับ AI

หน่วยความจำแบบรวม16 GB
แบนด์วิดท์หน่วยความจำ68 GB/s
มีในMacBook Air (2020), 13-inch MacBook Pro (2020), Mac mini (2020), iMac (2021)
ที่นั่งเฉพาะสำหรับชิปนี้ที่นั่ง Core: ขุดได้สูงสุด 20 MLX ต่อวัน

2รันโมเดลไหนได้บ้าง

ที่ 4 บิตต่อน้ำหนัก โมเดลต้องใช้หน่วยความจำมากกว่าครึ่งกิกะไบต์เล็กน้อยต่อพันล้านพารามิเตอร์ บวกพื้นที่สำหรับบริบทและ macOS ด้วย 16 GB M1 รองรับโมเดลได้สบายถึงราว 21 พันล้านพารามิเตอร์

โมเดล 4 บิตหน่วยความจำที่ต้องใช้รันบน M1 ได้ไหม
โมเดล 8B4.5 GBได้
โมเดล 14B7.9 GBได้
โมเดล 32B18 GBไม่ได้
โมเดล 70B39.4 GBไม่ได้
gpt-oss-120b แบบ mixture-of-experts65 GBไม่ได้
Qwen3.5-397B-A17B แบบ mixture-of-experts223.3 GBไม่ได้
DeepSeek-V4.1-Flash แบบ mixture-of-experts316 GBไม่ได้

3เร็วแค่ไหน

ความเร็วในการเขียนข้อความถูกจำกัดด้วยแบนด์วิดท์หน่วยความจำ: ทุกโทเค็นใหม่ต้องอ่านน้ำหนักที่ใช้งานของโมเดลหนึ่งรอบ นำ 68 GB/s ของ M1 หารด้วยจำนวนไบต์ที่อ่านต่อโทเค็นจะได้เพดานด้านล่าง การรันจริงมักได้ราว 45% ถึง 80% ของเพดานนั้น (ผลทดสอบ llama.cpp)

โมเดล 4 บิตอ่านต่อโทเค็นเพดานต่อหนึ่งแชต
โมเดล 8B4.5 GB15 โทเค็น/วินาที
โมเดล 14B7.9 GB9 โทเค็น/วินาที

5เทียบกับชิปอื่น

6คำถาม

M1 รันโมเดล 70B ได้ไหม?
ไม่สบายนัก โมเดล 70B แบบ 4 บิตต้องใช้ราว 40 GB แต่ M1 มีสูงสุดเพียง 16 GB โมเดลขนาดถึงราว 21B พารามิเตอร์รันได้ดี
M1 ได้กี่โทเค็นต่อวินาที?
สำหรับโมเดล 8B แบบ 4 บิต เพดานอยู่ที่ราว 15 โทเค็นต่อวินาที และการรันจริงได้ราวครึ่งหนึ่งถึงสี่ในห้าของค่านั้น โมเดลที่ใหญ่กว่าจะช้าลงตามสัดส่วน
M1 เหมาะกับ AI ไหม?
สำหรับการรันโมเดลบนเครื่อง หน่วยความจำและแบนด์วิดท์สำคัญที่สุด M1 มีสูงสุด 16 GB ที่ 68 GB/s พอสำหรับโมเดลถึงราว 21 พันล้านพารามิเตอร์ และยังสร้างรายได้ได้ด้วยการรันงาน AI ให้ MLX Network ผ่าน MLX Node

แหล่งที่มา

  1. Apple: M1apple.com
  2. llama.cpp: Apple Silicon benchmarksgithub.com
รัน LLM บนเครื่องด้วย M1: หน่วยความจำ ความเร็ว โมเดล | MLX