M5 รันโมเดล 70B ได้ไหม?

ไม่สบายนัก โมเดล 70B แบบ 4 บิตต้องใช้ราว 40 GB แต่ M5 มีสูงสุดเพียง 32 GB โมเดลขนาดถึงราว 42B พารามิเตอร์รันได้ดี

M5 ได้กี่โทเค็นต่อวินาที?

สำหรับโมเดล 8B แบบ 4 บิต เพดานอยู่ที่ราว 34 โทเค็นต่อวินาที และการรันจริงได้ราวครึ่งหนึ่งถึงสี่ในห้าของค่านั้น โมเดลที่ใหญ่กว่าจะช้าลงตามสัดส่วน

M5 เหมาะกับ AI ไหม?

สำหรับการรันโมเดลบนเครื่อง หน่วยความจำและแบนด์วิดท์สำคัญที่สุด M5 มีสูงสุด 32 GB ที่ 153 GB/s พอสำหรับโมเดลถึงราว 42 พันล้านพารามิเตอร์ และยังสร้างรายได้ได้ด้วยการรันงาน AI ให้ MLX Network ผ่าน MLX Node

รัน LLM บนเครื่องด้วย M5: หน่วยความจำ ความเร็ว โมเดล

1สเปกที่สำคัญสำหรับ AI

หน่วยความจำแบบรวม	32 GB
แบนด์วิดท์หน่วยความจำ	153 GB/s
มีใน	14-inch MacBook Pro (2025), MacBook Air (2026)
ที่นั่งเฉพาะสำหรับชิปนี้	ที่นั่ง Core: ขุดได้สูงสุด 20 MLX ต่อวัน

2รันโมเดลไหนได้บ้าง

ที่ 4 บิตต่อน้ำหนัก โมเดลต้องใช้หน่วยความจำมากกว่าครึ่งกิกะไบต์เล็กน้อยต่อพันล้านพารามิเตอร์ บวกพื้นที่สำหรับบริบทและ macOS ด้วย 32 GB M5 รองรับโมเดลได้สบายถึงราว 42 พันล้านพารามิเตอร์

โมเดล 4 บิต	หน่วยความจำที่ต้องใช้	รันบน M5 ได้ไหม
โมเดล 8B	4.5 GB	ได้
โมเดล 14B	7.9 GB	ได้
โมเดล 32B	18 GB	ได้
โมเดล 70B	39.4 GB	ไม่ได้
gpt-oss-120b แบบ mixture-of-experts	65 GB	ไม่ได้
Qwen3.5-397B-A17B แบบ mixture-of-experts	223.3 GB	ไม่ได้
DeepSeek-V4.1-Flash แบบ mixture-of-experts	316 GB	ไม่ได้

3เร็วแค่ไหน

ความเร็วในการเขียนข้อความถูกจำกัดด้วยแบนด์วิดท์หน่วยความจำ: ทุกโทเค็นใหม่ต้องอ่านน้ำหนักที่ใช้งานของโมเดลหนึ่งรอบ นำ 153 GB/s ของ M5 หารด้วยจำนวนไบต์ที่อ่านต่อโทเค็นจะได้เพดานด้านล่าง การรันจริงมักได้ราว 45% ถึง 80% ของเพดานนั้น (ผลทดสอบ llama.cpp)

โมเดล 4 บิต	อ่านต่อโทเค็น	เพดานต่อหนึ่งแชต
โมเดล 8B	4.5 GB	34 โทเค็น/วินาที
โมเดล 14B	7.9 GB	19 โทเค็น/วินาที
โมเดล 32B	18 GB	9 โทเค็น/วินาที

ผลวัดจริง: บน M5 (10-core GPU) llama.cpp สร้างได้ 32 โทเค็นต่อวินาที กับ Llama-2-7B (Q4_0) ในผลทดสอบสาธารณะ

ชิปรุ่น M5 เพิ่มตัวเร่งประสาทเทียม (neural accelerator) ใน GPU จึงอ่านพรอมต์ได้เร็วกว่า M4 หลายเท่า: Apple วัดได้ว่าโทเค็นแรกออกมาเร็วขึ้น 3.3 ถึง 4.1 เท่าเมื่อใช้ MLX (Apple)

สร้างรายได้ด้วย Mac ที่ใช้ M5

MLX Node รันงาน AI ให้ MLX Network และได้รับโทเค็น MLX ภายในขีดจำกัดที่คุณตั้งไว้ Mac ที่ใช้ M5 รันที่นั่ง Coreได้เต็มอัตรา และแต่ละที่นั่งขุดได้สูงสุด 20 MLX ต่อวันบนเครื่องนี้ บนที่นั่งฟรี Mac หนึ่งเครื่องขุดได้สูงสุด 1 MLX ต่อวัน MLX ที่ขุดได้จะถูกล็อก 30 วันบนที่นั่งฟรี หรือ 3 ถึง 20 วันเมื่อมีที่นั่งเฉพาะ ดูที่นั่งเฉพาะและการเปิดเผยความเสี่ยง

ดาวน์โหลด MLX Node

5เทียบกับชิปอื่น

6คำถาม

M5 รันโมเดล 70B ได้ไหม?: ไม่สบายนัก โมเดล 70B แบบ 4 บิตต้องใช้ราว 40 GB แต่ M5 มีสูงสุดเพียง 32 GB โมเดลขนาดถึงราว 42B พารามิเตอร์รันได้ดี
M5 ได้กี่โทเค็นต่อวินาที?: สำหรับโมเดล 8B แบบ 4 บิต เพดานอยู่ที่ราว 34 โทเค็นต่อวินาที และการรันจริงได้ราวครึ่งหนึ่งถึงสี่ในห้าของค่านั้น โมเดลที่ใหญ่กว่าจะช้าลงตามสัดส่วน
M5 เหมาะกับ AI ไหม?: สำหรับการรันโมเดลบนเครื่อง หน่วยความจำและแบนด์วิดท์สำคัญที่สุด M5 มีสูงสุด 32 GB ที่ 153 GB/s พอสำหรับโมเดลถึงราว 42 พันล้านพารามิเตอร์ และยังสร้างรายได้ได้ด้วยการรันงาน AI ให้ MLX Network ผ่าน MLX Node

แหล่งที่มา

Apple: M5apple.com
Apple: MacBook Air with M5apple.com
llama.cpp: Apple Silicon benchmarksgithub.com