M2 รันโมเดล 70B ได้ไหม?

ไม่สบายนัก โมเดล 70B แบบ 4 บิตต้องใช้ราว 40 GB แต่ M2 มีสูงสุดเพียง 24 GB โมเดลขนาดถึงราว 32B พารามิเตอร์รันได้ดี

M2 ได้กี่โทเค็นต่อวินาที?

สำหรับโมเดล 8B แบบ 4 บิต เพดานอยู่ที่ราว 22 โทเค็นต่อวินาที และการรันจริงได้ราวครึ่งหนึ่งถึงสี่ในห้าของค่านั้น โมเดลที่ใหญ่กว่าจะช้าลงตามสัดส่วน

M2 เหมาะกับ AI ไหม?

สำหรับการรันโมเดลบนเครื่อง หน่วยความจำและแบนด์วิดท์สำคัญที่สุด M2 มีสูงสุด 24 GB ที่ 100 GB/s พอสำหรับโมเดลถึงราว 32 พันล้านพารามิเตอร์ และยังสร้างรายได้ได้ด้วยการรันงาน AI ให้ MLX Network ผ่าน MLX Node

รัน LLM บนเครื่องด้วย M2: หน่วยความจำ ความเร็ว โมเดล

1สเปกที่สำคัญสำหรับ AI

หน่วยความจำแบบรวม	24 GB
แบนด์วิดท์หน่วยความจำ	100 GB/s
มีใน	MacBook Air (2022, 2023), 13-inch MacBook Pro (2022), Mac mini (2023)
ที่นั่งเฉพาะสำหรับชิปนี้	ที่นั่ง Core: ขุดได้สูงสุด 20 MLX ต่อวัน

2รันโมเดลไหนได้บ้าง

ที่ 4 บิตต่อน้ำหนัก โมเดลต้องใช้หน่วยความจำมากกว่าครึ่งกิกะไบต์เล็กน้อยต่อพันล้านพารามิเตอร์ บวกพื้นที่สำหรับบริบทและ macOS ด้วย 24 GB M2 รองรับโมเดลได้สบายถึงราว 32 พันล้านพารามิเตอร์

โมเดล 4 บิต	หน่วยความจำที่ต้องใช้	รันบน M2 ได้ไหม
โมเดล 8B	4.5 GB	ได้
โมเดล 14B	7.9 GB	ได้
โมเดล 32B	18 GB	ได้
โมเดล 70B	39.4 GB	ไม่ได้
gpt-oss-120b แบบ mixture-of-experts	65 GB	ไม่ได้
Qwen3.5-397B-A17B แบบ mixture-of-experts	223.3 GB	ไม่ได้
DeepSeek-V4.1-Flash แบบ mixture-of-experts	316 GB	ไม่ได้

3เร็วแค่ไหน

ความเร็วในการเขียนข้อความถูกจำกัดด้วยแบนด์วิดท์หน่วยความจำ: ทุกโทเค็นใหม่ต้องอ่านน้ำหนักที่ใช้งานของโมเดลหนึ่งรอบ นำ 100 GB/s ของ M2 หารด้วยจำนวนไบต์ที่อ่านต่อโทเค็นจะได้เพดานด้านล่าง การรันจริงมักได้ราว 45% ถึง 80% ของเพดานนั้น (ผลทดสอบ llama.cpp)

โมเดล 4 บิต	อ่านต่อโทเค็น	เพดานต่อหนึ่งแชต
โมเดล 8B	4.5 GB	22 โทเค็น/วินาที
โมเดล 14B	7.9 GB	13 โทเค็น/วินาที
โมเดล 32B	18 GB	6 โทเค็น/วินาที

สร้างรายได้ด้วย Mac ที่ใช้ M2

MLX Node รันงาน AI ให้ MLX Network และได้รับโทเค็น MLX ภายในขีดจำกัดที่คุณตั้งไว้ Mac ที่ใช้ M2 รันที่นั่ง Coreได้เต็มอัตรา และแต่ละที่นั่งขุดได้สูงสุด 20 MLX ต่อวันบนเครื่องนี้ บนที่นั่งฟรี Mac หนึ่งเครื่องขุดได้สูงสุด 1 MLX ต่อวัน MLX ที่ขุดได้จะถูกล็อก 30 วันบนที่นั่งฟรี หรือ 3 ถึง 20 วันเมื่อมีที่นั่งเฉพาะ ดูที่นั่งเฉพาะและการเปิดเผยความเสี่ยง

ดาวน์โหลด MLX Node

5เทียบกับชิปอื่น

6คำถาม

M2 รันโมเดล 70B ได้ไหม?: ไม่สบายนัก โมเดล 70B แบบ 4 บิตต้องใช้ราว 40 GB แต่ M2 มีสูงสุดเพียง 24 GB โมเดลขนาดถึงราว 32B พารามิเตอร์รันได้ดี
M2 ได้กี่โทเค็นต่อวินาที?: สำหรับโมเดล 8B แบบ 4 บิต เพดานอยู่ที่ราว 22 โทเค็นต่อวินาที และการรันจริงได้ราวครึ่งหนึ่งถึงสี่ในห้าของค่านั้น โมเดลที่ใหญ่กว่าจะช้าลงตามสัดส่วน
M2 เหมาะกับ AI ไหม?: สำหรับการรันโมเดลบนเครื่อง หน่วยความจำและแบนด์วิดท์สำคัญที่สุด M2 มีสูงสุด 24 GB ที่ 100 GB/s พอสำหรับโมเดลถึงราว 32 พันล้านพารามิเตอร์ และยังสร้างรายได้ได้ด้วยการรันงาน AI ให้ MLX Network ผ่าน MLX Node

แหล่งที่มา

Apple: M2apple.com
llama.cpp: Apple Silicon benchmarksgithub.com