M4 Max รันโมเดล 70B ได้ไหม?

ได้ โมเดล 70B แบบ 4 บิตต้องใช้ราว 40 GB และ M4 Max มีสูงสุด 128 GB เพดานต่อหนึ่งแชตอยู่ที่ราว 14 โทเค็นต่อวินาที

M4 Max ได้กี่โทเค็นต่อวินาที?

สำหรับโมเดล 8B แบบ 4 บิต เพดานอยู่ที่ราว 121 โทเค็นต่อวินาที และการรันจริงได้ราวครึ่งหนึ่งถึงสี่ในห้าของค่านั้น โมเดลที่ใหญ่กว่าจะช้าลงตามสัดส่วน

M4 Max เหมาะกับ AI ไหม?

สำหรับการรันโมเดลบนเครื่อง หน่วยความจำและแบนด์วิดท์สำคัญที่สุด M4 Max มีสูงสุด 128 GB ที่ 546 GB/s พอสำหรับโมเดลถึงราว 170 พันล้านพารามิเตอร์ และยังสร้างรายได้ได้ด้วยการรันงาน AI ให้ MLX Network ผ่าน MLX Node

รัน LLM บนเครื่องด้วย M4 Max: หน่วยความจำ ความเร็ว โมเดล

1สเปกที่สำคัญสำหรับ AI

หน่วยความจำแบบรวม	128 GB
แบนด์วิดท์หน่วยความจำ	546 GB/s หรือ 410 GB/s ในรุ่นสเปกที่ต่ำกว่า
มีใน	14- and 16-inch MacBook Pro (2024), Mac Studio (2025)
ที่นั่งเฉพาะสำหรับชิปนี้	ที่นั่ง Pro: ขุดได้สูงสุด 80 MLX ต่อวัน

2รันโมเดลไหนได้บ้าง

ที่ 4 บิตต่อน้ำหนัก โมเดลต้องใช้หน่วยความจำมากกว่าครึ่งกิกะไบต์เล็กน้อยต่อพันล้านพารามิเตอร์ บวกพื้นที่สำหรับบริบทและ macOS ด้วย 128 GB M4 Max รองรับโมเดลได้สบายถึงราว 170 พันล้านพารามิเตอร์

โมเดล 4 บิต	หน่วยความจำที่ต้องใช้	รันบน M4 Max ได้ไหม
โมเดล 8B	4.5 GB	ได้
โมเดล 14B	7.9 GB	ได้
โมเดล 32B	18 GB	ได้
โมเดล 70B	39.4 GB	ได้
gpt-oss-120b แบบ mixture-of-experts	65 GB	ได้
Qwen3.5-397B-A17B แบบ mixture-of-experts	223.3 GB	ไม่ได้
DeepSeek-V4.1-Flash แบบ mixture-of-experts	316 GB	ไม่ได้

3เร็วแค่ไหน

ความเร็วในการเขียนข้อความถูกจำกัดด้วยแบนด์วิดท์หน่วยความจำ: ทุกโทเค็นใหม่ต้องอ่านน้ำหนักที่ใช้งานของโมเดลหนึ่งรอบ นำ 546 GB/s ของ M4 Max หารด้วยจำนวนไบต์ที่อ่านต่อโทเค็นจะได้เพดานด้านล่าง การรันจริงมักได้ราว 45% ถึง 80% ของเพดานนั้น (ผลทดสอบ llama.cpp)

โมเดล 4 บิต	อ่านต่อโทเค็น	เพดานต่อหนึ่งแชต
โมเดล 8B	4.5 GB	121 โทเค็น/วินาที
โมเดล 14B	7.9 GB	69 โทเค็น/วินาที
โมเดล 32B	18 GB	30 โทเค็น/วินาที
โมเดล 70B	39.4 GB	14 โทเค็น/วินาที
gpt-oss-120b แบบ mixture-of-experts	2.7 GB	202 โทเค็น/วินาที

ผลวัดจริง: บน M4 Max (40-core GPU) llama.cpp สร้างได้ 83 โทเค็นต่อวินาที กับ Llama-2-7B (Q4_0) ในผลทดสอบสาธารณะ

สร้างรายได้ด้วย Mac ที่ใช้ M4 Max

MLX Node รันงาน AI ให้ MLX Network และได้รับโทเค็น MLX ภายในขีดจำกัดที่คุณตั้งไว้ Mac ที่ใช้ M4 Max รันที่นั่ง Proได้เต็มอัตรา และแต่ละที่นั่งขุดได้สูงสุด 80 MLX ต่อวันบนเครื่องนี้ บนที่นั่งฟรี Mac หนึ่งเครื่องขุดได้สูงสุด 1 MLX ต่อวัน MLX ที่ขุดได้จะถูกล็อก 30 วันบนที่นั่งฟรี หรือ 3 ถึง 20 วันเมื่อมีที่นั่งเฉพาะ ดูที่นั่งเฉพาะและการเปิดเผยความเสี่ยง

ดาวน์โหลด MLX Node

5เทียบกับชิปอื่น

6คำถาม

M4 Max รันโมเดล 70B ได้ไหม?: ได้ โมเดล 70B แบบ 4 บิตต้องใช้ราว 40 GB และ M4 Max มีสูงสุด 128 GB เพดานต่อหนึ่งแชตอยู่ที่ราว 14 โทเค็นต่อวินาที
M4 Max ได้กี่โทเค็นต่อวินาที?: สำหรับโมเดล 8B แบบ 4 บิต เพดานอยู่ที่ราว 121 โทเค็นต่อวินาที และการรันจริงได้ราวครึ่งหนึ่งถึงสี่ในห้าของค่านั้น โมเดลที่ใหญ่กว่าจะช้าลงตามสัดส่วน
M4 Max เหมาะกับ AI ไหม?: สำหรับการรันโมเดลบนเครื่อง หน่วยความจำและแบนด์วิดท์สำคัญที่สุด M4 Max มีสูงสุด 128 GB ที่ 546 GB/s พอสำหรับโมเดลถึงราว 170 พันล้านพารามิเตอร์ และยังสร้างรายได้ได้ด้วยการรันงาน AI ให้ MLX Network ผ่าน MLX Node

แหล่งที่มา

Apple: M4 Pro and M4 Maxapple.com
llama.cpp: Apple Silicon benchmarksgithub.com