M3 Ultra รันโมเดล 70B ได้ไหม?

ได้ โมเดล 70B แบบ 4 บิตต้องใช้ราว 40 GB และ M3 Ultra มีสูงสุด 512 GB เพดานต่อหนึ่งแชตอยู่ที่ราว 21 โทเค็นต่อวินาที

M3 Ultra ได้กี่โทเค็นต่อวินาที?

สำหรับโมเดล 8B แบบ 4 บิต เพดานอยู่ที่ราว 182 โทเค็นต่อวินาที และการรันจริงได้ราวครึ่งหนึ่งถึงสี่ในห้าของค่านั้น โมเดลที่ใหญ่กว่าจะช้าลงตามสัดส่วน

M3 Ultra เหมาะกับ AI ไหม?

สำหรับการรันโมเดลบนเครื่อง หน่วยความจำและแบนด์วิดท์สำคัญที่สุด M3 Ultra มีสูงสุด 512 GB ที่ 819 GB/s พอสำหรับโมเดลถึงราว 682 พันล้านพารามิเตอร์ และยังสร้างรายได้ได้ด้วยการรันงาน AI ให้ MLX Network ผ่าน MLX Node

รัน LLM บนเครื่องด้วย M3 Ultra: หน่วยความจำ ความเร็ว โมเดล

1สเปกที่สำคัญสำหรับ AI

หน่วยความจำแบบรวม	512 GB
แบนด์วิดท์หน่วยความจำ	819 GB/s
มีใน	Mac Studio (2025)
ที่นั่งเฉพาะสำหรับชิปนี้	ที่นั่ง Ultra: ขุดได้สูงสุด 320 MLX ต่อวัน

2รันโมเดลไหนได้บ้าง

ที่ 4 บิตต่อน้ำหนัก โมเดลต้องใช้หน่วยความจำมากกว่าครึ่งกิกะไบต์เล็กน้อยต่อพันล้านพารามิเตอร์ บวกพื้นที่สำหรับบริบทและ macOS ด้วย 512 GB M3 Ultra รองรับโมเดลได้สบายถึงราว 682 พันล้านพารามิเตอร์

โมเดล 4 บิต	หน่วยความจำที่ต้องใช้	รันบน M3 Ultra ได้ไหม
โมเดล 8B	4.5 GB	ได้
โมเดล 14B	7.9 GB	ได้
โมเดล 32B	18 GB	ได้
โมเดล 70B	39.4 GB	ได้
gpt-oss-120b แบบ mixture-of-experts	65 GB	ได้
Qwen3.5-397B-A17B แบบ mixture-of-experts	223.3 GB	ได้
DeepSeek-V4.1-Flash แบบ mixture-of-experts	316 GB	ได้

3เร็วแค่ไหน

ความเร็วในการเขียนข้อความถูกจำกัดด้วยแบนด์วิดท์หน่วยความจำ: ทุกโทเค็นใหม่ต้องอ่านน้ำหนักที่ใช้งานของโมเดลหนึ่งรอบ นำ 819 GB/s ของ M3 Ultra หารด้วยจำนวนไบต์ที่อ่านต่อโทเค็นจะได้เพดานด้านล่าง การรันจริงมักได้ราว 45% ถึง 80% ของเพดานนั้น (ผลทดสอบ llama.cpp)

โมเดล 4 บิต	อ่านต่อโทเค็น	เพดานต่อหนึ่งแชต
โมเดล 8B	4.5 GB	182 โทเค็น/วินาที
โมเดล 14B	7.9 GB	104 โทเค็น/วินาที
โมเดล 32B	18 GB	46 โทเค็น/วินาที
โมเดล 70B	39.4 GB	21 โทเค็น/วินาที
gpt-oss-120b แบบ mixture-of-experts	2.7 GB	303 โทเค็น/วินาที
Qwen3.5-397B-A17B แบบ mixture-of-experts	9.6 GB	85 โทเค็น/วินาที
DeepSeek-V4.1-Flash แบบ mixture-of-experts	9 GB	91 โทเค็น/วินาที

ผลวัดจริง: บน M3 Ultra (80-core GPU) llama.cpp สร้างได้ 92 โทเค็นต่อวินาที กับ Llama-2-7B (Q4_0) ในผลทดสอบสาธารณะ

สร้างรายได้ด้วย Mac ที่ใช้ M3 Ultra

MLX Node รันงาน AI ให้ MLX Network และได้รับโทเค็น MLX ภายในขีดจำกัดที่คุณตั้งไว้ Mac ที่ใช้ M3 Ultra รันที่นั่ง Ultraได้เต็มอัตรา และแต่ละที่นั่งขุดได้สูงสุด 320 MLX ต่อวันบนเครื่องนี้ บนที่นั่งฟรี Mac หนึ่งเครื่องขุดได้สูงสุด 1 MLX ต่อวัน MLX ที่ขุดได้จะถูกล็อก 30 วันบนที่นั่งฟรี หรือ 3 ถึง 20 วันเมื่อมีที่นั่งเฉพาะ ดูที่นั่งเฉพาะและการเปิดเผยความเสี่ยง

ดาวน์โหลด MLX Node

5เทียบกับชิปอื่น

6คำถาม

M3 Ultra รันโมเดล 70B ได้ไหม?: ได้ โมเดล 70B แบบ 4 บิตต้องใช้ราว 40 GB และ M3 Ultra มีสูงสุด 512 GB เพดานต่อหนึ่งแชตอยู่ที่ราว 21 โทเค็นต่อวินาที
M3 Ultra ได้กี่โทเค็นต่อวินาที?: สำหรับโมเดล 8B แบบ 4 บิต เพดานอยู่ที่ราว 182 โทเค็นต่อวินาที และการรันจริงได้ราวครึ่งหนึ่งถึงสี่ในห้าของค่านั้น โมเดลที่ใหญ่กว่าจะช้าลงตามสัดส่วน
M3 Ultra เหมาะกับ AI ไหม?: สำหรับการรันโมเดลบนเครื่อง หน่วยความจำและแบนด์วิดท์สำคัญที่สุด M3 Ultra มีสูงสุด 512 GB ที่ 819 GB/s พอสำหรับโมเดลถึงราว 682 พันล้านพารามิเตอร์ และยังสร้างรายได้ได้ด้วยการรันงาน AI ให้ MLX Network ผ่าน MLX Node

แหล่งที่มา

Apple: Mac Studio (2025) specssupport.apple.com
llama.cpp: Apple Silicon benchmarksgithub.com