M5 Ultra รันโมเดล 70B ได้ไหม?

ได้ โมเดล 70B แบบ 4 บิตต้องใช้ราว 40 GB และ M5 Ultra มีสูงสุด 512 GB เพดานต่อหนึ่งแชตอยู่ที่ราว 30 โทเค็นต่อวินาที

M5 Ultra ได้กี่โทเค็นต่อวินาที?

สำหรับโมเดล 8B แบบ 4 บิต เพดานอยู่ที่ราว 267 โทเค็นต่อวินาที และการรันจริงได้ราวครึ่งหนึ่งถึงสี่ในห้าของค่านั้น โมเดลที่ใหญ่กว่าจะช้าลงตามสัดส่วน

M5 Ultra เหมาะกับ AI ไหม?

สำหรับการรันโมเดลบนเครื่อง หน่วยความจำและแบนด์วิดท์สำคัญที่สุด M5 Ultra มีสูงสุด 512 GB ที่ 1.2 TB/s พอสำหรับโมเดลถึงราว 682 พันล้านพารามิเตอร์ และยังสร้างรายได้ได้ด้วยการรันงาน AI ให้ MLX Network ผ่าน MLX Node

รัน LLM บนเครื่องด้วย M5 Ultra: หน่วยความจำ ความเร็ว โมเดล

1สเปกที่สำคัญสำหรับ AI

หน่วยความจำแบบรวม	512 GB
แบนด์วิดท์หน่วยความจำ	1.2 TB/s
มีใน	Mac Studio (2026)
ที่นั่งเฉพาะสำหรับชิปนี้	ที่นั่ง Ultra Latest: ขุดได้สูงสุด 480 MLX ต่อวัน

2รันโมเดลไหนได้บ้าง

ที่ 4 บิตต่อน้ำหนัก โมเดลต้องใช้หน่วยความจำมากกว่าครึ่งกิกะไบต์เล็กน้อยต่อพันล้านพารามิเตอร์ บวกพื้นที่สำหรับบริบทและ macOS ด้วย 512 GB M5 Ultra รองรับโมเดลได้สบายถึงราว 682 พันล้านพารามิเตอร์

โมเดล 4 บิต	หน่วยความจำที่ต้องใช้	รันบน M5 Ultra ได้ไหม
โมเดล 8B	4.5 GB	ได้
โมเดล 14B	7.9 GB	ได้
โมเดล 32B	18 GB	ได้
โมเดล 70B	39.4 GB	ได้
gpt-oss-120b แบบ mixture-of-experts	65 GB	ได้
Qwen3.5-397B-A17B แบบ mixture-of-experts	223.3 GB	ได้
DeepSeek-V4.1-Flash แบบ mixture-of-experts	316 GB	ได้

3เร็วแค่ไหน

ความเร็วในการเขียนข้อความถูกจำกัดด้วยแบนด์วิดท์หน่วยความจำ: ทุกโทเค็นใหม่ต้องอ่านน้ำหนักที่ใช้งานของโมเดลหนึ่งรอบ นำ 1.2 TB/s ของ M5 Ultra หารด้วยจำนวนไบต์ที่อ่านต่อโทเค็นจะได้เพดานด้านล่าง การรันจริงมักได้ราว 45% ถึง 80% ของเพดานนั้น (ผลทดสอบ llama.cpp)

โมเดล 4 บิต	อ่านต่อโทเค็น	เพดานต่อหนึ่งแชต
โมเดล 8B	4.5 GB	267 โทเค็น/วินาที
โมเดล 14B	7.9 GB	152 โทเค็น/วินาที
โมเดล 32B	18 GB	67 โทเค็น/วินาที
โมเดล 70B	39.4 GB	30 โทเค็น/วินาที
gpt-oss-120b แบบ mixture-of-experts	2.7 GB	444 โทเค็น/วินาที
Qwen3.5-397B-A17B แบบ mixture-of-experts	9.6 GB	125 โทเค็น/วินาที
DeepSeek-V4.1-Flash แบบ mixture-of-experts	9 GB	133 โทเค็น/วินาที

ผลวัดจริง: บน M5 Ultra (80-core GPU) llama.cpp สร้างได้ 179 โทเค็นต่อวินาที กับ Llama-2-7B (Q4_0) ในผลทดสอบสาธารณะ

ชิปรุ่น M5 เพิ่มตัวเร่งประสาทเทียม (neural accelerator) ใน GPU จึงอ่านพรอมต์ได้เร็วกว่า M4 หลายเท่า: Apple วัดได้ว่าโทเค็นแรกออกมาเร็วขึ้น 3.3 ถึง 4.1 เท่าเมื่อใช้ MLX (Apple)

สร้างรายได้ด้วย Mac ที่ใช้ M5 Ultra

MLX Node รันงาน AI ให้ MLX Network และได้รับโทเค็น MLX ภายในขีดจำกัดที่คุณตั้งไว้ Mac ที่ใช้ M5 Ultra รันที่นั่ง Ultra Latestได้เต็มอัตรา และแต่ละที่นั่งขุดได้สูงสุด 480 MLX ต่อวันบนเครื่องนี้ บนที่นั่งฟรี Mac หนึ่งเครื่องขุดได้สูงสุด 1 MLX ต่อวัน MLX ที่ขุดได้จะถูกล็อก 30 วันบนที่นั่งฟรี หรือ 3 ถึง 20 วันเมื่อมีที่นั่งเฉพาะ ดูที่นั่งเฉพาะและการเปิดเผยความเสี่ยง

ดาวน์โหลด MLX Node

5เทียบกับชิปอื่น

6คำถาม

M5 Ultra รันโมเดล 70B ได้ไหม?: ได้ โมเดล 70B แบบ 4 บิตต้องใช้ราว 40 GB และ M5 Ultra มีสูงสุด 512 GB เพดานต่อหนึ่งแชตอยู่ที่ราว 30 โทเค็นต่อวินาที
M5 Ultra ได้กี่โทเค็นต่อวินาที?: สำหรับโมเดล 8B แบบ 4 บิต เพดานอยู่ที่ราว 267 โทเค็นต่อวินาที และการรันจริงได้ราวครึ่งหนึ่งถึงสี่ในห้าของค่านั้น โมเดลที่ใหญ่กว่าจะช้าลงตามสัดส่วน
M5 Ultra เหมาะกับ AI ไหม?: สำหรับการรันโมเดลบนเครื่อง หน่วยความจำและแบนด์วิดท์สำคัญที่สุด M5 Ultra มีสูงสุด 512 GB ที่ 1.2 TB/s พอสำหรับโมเดลถึงราว 682 พันล้านพารามิเตอร์ และยังสร้างรายได้ได้ด้วยการรันงาน AI ให้ MLX Network ผ่าน MLX Node

แหล่งที่มา

Apple: M6 and M5 Ultraapple.com
llama.cpp: Apple Silicon benchmarksgithub.com