M2 Ultra รันโมเดล 70B ได้ไหม?

ได้ โมเดล 70B แบบ 4 บิตต้องใช้ราว 40 GB และ M2 Ultra มีสูงสุด 192 GB เพดานต่อหนึ่งแชตอยู่ที่ราว 20 โทเค็นต่อวินาที

M2 Ultra ได้กี่โทเค็นต่อวินาที?

สำหรับโมเดล 8B แบบ 4 บิต เพดานอยู่ที่ราว 178 โทเค็นต่อวินาที และการรันจริงได้ราวครึ่งหนึ่งถึงสี่ในห้าของค่านั้น โมเดลที่ใหญ่กว่าจะช้าลงตามสัดส่วน

M2 Ultra เหมาะกับ AI ไหม?

สำหรับการรันโมเดลบนเครื่อง หน่วยความจำและแบนด์วิดท์สำคัญที่สุด M2 Ultra มีสูงสุด 192 GB ที่ 800 GB/s พอสำหรับโมเดลถึงราว 256 พันล้านพารามิเตอร์ และยังสร้างรายได้ได้ด้วยการรันงาน AI ให้ MLX Network ผ่าน MLX Node

รัน LLM บนเครื่องด้วย M2 Ultra: หน่วยความจำ ความเร็ว โมเดล

1สเปกที่สำคัญสำหรับ AI

หน่วยความจำแบบรวม	192 GB
แบนด์วิดท์หน่วยความจำ	800 GB/s
มีใน	Mac Studio (2023), Mac Pro (2023)
ที่นั่งเฉพาะสำหรับชิปนี้	ที่นั่ง Ultra: ขุดได้สูงสุด 320 MLX ต่อวัน

2รันโมเดลไหนได้บ้าง

ที่ 4 บิตต่อน้ำหนัก โมเดลต้องใช้หน่วยความจำมากกว่าครึ่งกิกะไบต์เล็กน้อยต่อพันล้านพารามิเตอร์ บวกพื้นที่สำหรับบริบทและ macOS ด้วย 192 GB M2 Ultra รองรับโมเดลได้สบายถึงราว 256 พันล้านพารามิเตอร์

โมเดล 4 บิต	หน่วยความจำที่ต้องใช้	รันบน M2 Ultra ได้ไหม
โมเดล 8B	4.5 GB	ได้
โมเดล 14B	7.9 GB	ได้
โมเดล 32B	18 GB	ได้
โมเดล 70B	39.4 GB	ได้
gpt-oss-120b แบบ mixture-of-experts	65 GB	ได้
Qwen3.5-397B-A17B แบบ mixture-of-experts	223.3 GB	ไม่ได้
DeepSeek-V4.1-Flash แบบ mixture-of-experts	316 GB	ไม่ได้

3เร็วแค่ไหน

ความเร็วในการเขียนข้อความถูกจำกัดด้วยแบนด์วิดท์หน่วยความจำ: ทุกโทเค็นใหม่ต้องอ่านน้ำหนักที่ใช้งานของโมเดลหนึ่งรอบ นำ 800 GB/s ของ M2 Ultra หารด้วยจำนวนไบต์ที่อ่านต่อโทเค็นจะได้เพดานด้านล่าง การรันจริงมักได้ราว 45% ถึง 80% ของเพดานนั้น (ผลทดสอบ llama.cpp)

โมเดล 4 บิต	อ่านต่อโทเค็น	เพดานต่อหนึ่งแชต
โมเดล 8B	4.5 GB	178 โทเค็น/วินาที
โมเดล 14B	7.9 GB	101 โทเค็น/วินาที
โมเดล 32B	18 GB	44 โทเค็น/วินาที
โมเดล 70B	39.4 GB	20 โทเค็น/วินาที
gpt-oss-120b แบบ mixture-of-experts	2.7 GB	296 โทเค็น/วินาที

สร้างรายได้ด้วย Mac ที่ใช้ M2 Ultra

MLX Node รันงาน AI ให้ MLX Network และได้รับโทเค็น MLX ภายในขีดจำกัดที่คุณตั้งไว้ Mac ที่ใช้ M2 Ultra รันที่นั่ง Ultraได้เต็มอัตรา และแต่ละที่นั่งขุดได้สูงสุด 320 MLX ต่อวันบนเครื่องนี้ บนที่นั่งฟรี Mac หนึ่งเครื่องขุดได้สูงสุด 1 MLX ต่อวัน MLX ที่ขุดได้จะถูกล็อก 30 วันบนที่นั่งฟรี หรือ 3 ถึง 20 วันเมื่อมีที่นั่งเฉพาะ ดูที่นั่งเฉพาะและการเปิดเผยความเสี่ยง

ดาวน์โหลด MLX Node

5เทียบกับชิปอื่น

6คำถาม

M2 Ultra รันโมเดล 70B ได้ไหม?: ได้ โมเดล 70B แบบ 4 บิตต้องใช้ราว 40 GB และ M2 Ultra มีสูงสุด 192 GB เพดานต่อหนึ่งแชตอยู่ที่ราว 20 โทเค็นต่อวินาที
M2 Ultra ได้กี่โทเค็นต่อวินาที?: สำหรับโมเดล 8B แบบ 4 บิต เพดานอยู่ที่ราว 178 โทเค็นต่อวินาที และการรันจริงได้ราวครึ่งหนึ่งถึงสี่ในห้าของค่านั้น โมเดลที่ใหญ่กว่าจะช้าลงตามสัดส่วน
M2 Ultra เหมาะกับ AI ไหม?: สำหรับการรันโมเดลบนเครื่อง หน่วยความจำและแบนด์วิดท์สำคัญที่สุด M2 Ultra มีสูงสุด 192 GB ที่ 800 GB/s พอสำหรับโมเดลถึงราว 256 พันล้านพารามิเตอร์ และยังสร้างรายได้ได้ด้วยการรันงาน AI ให้ MLX Network ผ่าน MLX Node

แหล่งที่มา

Apple: M2 Ultraapple.com
llama.cpp: Apple Silicon benchmarksgithub.com