M2 Max รันโมเดล 70B ได้ไหม?

ได้ โมเดล 70B แบบ 4 บิตต้องใช้ราว 40 GB และ M2 Max มีสูงสุด 96 GB เพดานต่อหนึ่งแชตอยู่ที่ราว 10 โทเค็นต่อวินาที

M2 Max ได้กี่โทเค็นต่อวินาที?

สำหรับโมเดล 8B แบบ 4 บิต เพดานอยู่ที่ราว 89 โทเค็นต่อวินาที และการรันจริงได้ราวครึ่งหนึ่งถึงสี่ในห้าของค่านั้น โมเดลที่ใหญ่กว่าจะช้าลงตามสัดส่วน

M2 Max เหมาะกับ AI ไหม?

สำหรับการรันโมเดลบนเครื่อง หน่วยความจำและแบนด์วิดท์สำคัญที่สุด M2 Max มีสูงสุด 96 GB ที่ 400 GB/s พอสำหรับโมเดลถึงราว 128 พันล้านพารามิเตอร์ และยังสร้างรายได้ได้ด้วยการรันงาน AI ให้ MLX Network ผ่าน MLX Node

รัน LLM บนเครื่องด้วย M2 Max: หน่วยความจำ ความเร็ว โมเดล

1สเปกที่สำคัญสำหรับ AI

หน่วยความจำแบบรวม	96 GB
แบนด์วิดท์หน่วยความจำ	400 GB/s
มีใน	14- and 16-inch MacBook Pro (2023), Mac Studio (2023)
ที่นั่งเฉพาะสำหรับชิปนี้	ที่นั่ง Pro: ขุดได้สูงสุด 80 MLX ต่อวัน

2รันโมเดลไหนได้บ้าง

ที่ 4 บิตต่อน้ำหนัก โมเดลต้องใช้หน่วยความจำมากกว่าครึ่งกิกะไบต์เล็กน้อยต่อพันล้านพารามิเตอร์ บวกพื้นที่สำหรับบริบทและ macOS ด้วย 96 GB M2 Max รองรับโมเดลได้สบายถึงราว 128 พันล้านพารามิเตอร์

โมเดล 4 บิต	หน่วยความจำที่ต้องใช้	รันบน M2 Max ได้ไหม
โมเดล 8B	4.5 GB	ได้
โมเดล 14B	7.9 GB	ได้
โมเดล 32B	18 GB	ได้
โมเดล 70B	39.4 GB	ได้
gpt-oss-120b แบบ mixture-of-experts	65 GB	ได้
Qwen3.5-397B-A17B แบบ mixture-of-experts	223.3 GB	ไม่ได้
DeepSeek-V4.1-Flash แบบ mixture-of-experts	316 GB	ไม่ได้

3เร็วแค่ไหน

ความเร็วในการเขียนข้อความถูกจำกัดด้วยแบนด์วิดท์หน่วยความจำ: ทุกโทเค็นใหม่ต้องอ่านน้ำหนักที่ใช้งานของโมเดลหนึ่งรอบ นำ 400 GB/s ของ M2 Max หารด้วยจำนวนไบต์ที่อ่านต่อโทเค็นจะได้เพดานด้านล่าง การรันจริงมักได้ราว 45% ถึง 80% ของเพดานนั้น (ผลทดสอบ llama.cpp)

โมเดล 4 บิต	อ่านต่อโทเค็น	เพดานต่อหนึ่งแชต
โมเดล 8B	4.5 GB	89 โทเค็น/วินาที
โมเดล 14B	7.9 GB	51 โทเค็น/วินาที
โมเดล 32B	18 GB	22 โทเค็น/วินาที
โมเดล 70B	39.4 GB	10 โทเค็น/วินาที
gpt-oss-120b แบบ mixture-of-experts	2.7 GB	148 โทเค็น/วินาที

สร้างรายได้ด้วย Mac ที่ใช้ M2 Max

MLX Node รันงาน AI ให้ MLX Network และได้รับโทเค็น MLX ภายในขีดจำกัดที่คุณตั้งไว้ Mac ที่ใช้ M2 Max รันที่นั่ง Proได้เต็มอัตรา และแต่ละที่นั่งขุดได้สูงสุด 80 MLX ต่อวันบนเครื่องนี้ บนที่นั่งฟรี Mac หนึ่งเครื่องขุดได้สูงสุด 1 MLX ต่อวัน MLX ที่ขุดได้จะถูกล็อก 30 วันบนที่นั่งฟรี หรือ 3 ถึง 20 วันเมื่อมีที่นั่งเฉพาะ ดูที่นั่งเฉพาะและการเปิดเผยความเสี่ยง

ดาวน์โหลด MLX Node

5เทียบกับชิปอื่น

6คำถาม

M2 Max รันโมเดล 70B ได้ไหม?: ได้ โมเดล 70B แบบ 4 บิตต้องใช้ราว 40 GB และ M2 Max มีสูงสุด 96 GB เพดานต่อหนึ่งแชตอยู่ที่ราว 10 โทเค็นต่อวินาที
M2 Max ได้กี่โทเค็นต่อวินาที?: สำหรับโมเดล 8B แบบ 4 บิต เพดานอยู่ที่ราว 89 โทเค็นต่อวินาที และการรันจริงได้ราวครึ่งหนึ่งถึงสี่ในห้าของค่านั้น โมเดลที่ใหญ่กว่าจะช้าลงตามสัดส่วน
M2 Max เหมาะกับ AI ไหม?: สำหรับการรันโมเดลบนเครื่อง หน่วยความจำและแบนด์วิดท์สำคัญที่สุด M2 Max มีสูงสุด 96 GB ที่ 400 GB/s พอสำหรับโมเดลถึงราว 128 พันล้านพารามิเตอร์ และยังสร้างรายได้ได้ด้วยการรันงาน AI ให้ MLX Network ผ่าน MLX Node

แหล่งที่มา

Apple: M2 Pro and M2 Maxapple.com
llama.cpp: Apple Silicon benchmarksgithub.com