เทียบกัน
| M5 Ultra | RTX PRO 6000 | |
|---|---|---|
| คืออะไร | Mac Studio (M5 Max or M5 Ultra) | การ์ดจอสำหรับ PC ตั้งโต๊ะ |
| ขนาดหน่วยความจำ | 96, 256, 512 GB | 96 GB |
| แบนด์วิดท์หน่วยความจำ | 1,200 GB/s | 1,792 GB/s |
| ใช้กับโมเดลได้สูงสุด | ราว 384 GB | ราว 95 GB |
| โมเดลที่รันได้ดี | 61 จาก 73 | 50 จาก 73 |
| วัดจริง: การเขียน | 179 tok/s | 274 tok/s |
| วัดจริง: การอ่านพรอมต์ | 4,945 tok/s | 14,855 tok/s |
แถวที่วัดจริง: ผลที่เร็วที่สุดของแต่ละเครื่องในเบนช์มาร์กสาธารณะของ llama.cpp กับ Llama 2 7B Q4_0 ทั้งการเขียน 128 โทเคน (tg128) และการอ่านพรอมต์ 512 โทเคน (pp512) เป็นโทเคนต่อวินาที Mac ใช้ Metal ส่วน RTX PRO 6000 ใช้ CUDA ผลของ Apple Silicon · ผลของ RTX PRO 6000 สำหรับโมเดล เรานับหน่วยความจำของ RTX PRO 6000 เอง 96 GB ลบราว 1 GB และนับหน่วยความจำรวมของ Mac ราว 75% ซึ่งเป็นค่าเริ่มต้นของ macOS
แต่ละเครื่องเด่นตรงไหน
- ความเร็วในการเขียน RTX PRO 6000 อ่านหน่วยความจำเร็วกว่า M5 Ultra ราว 49% (1,792 เทียบกับ 1,200 GB/s) จึงเขียนได้เร็วกว่าราว 49% กับทุกโมเดลที่ใส่ได้ทั้งสองรุ่น
- ขนาดโมเดล M5 Ultra มีหน่วยความจำสำหรับโมเดลราว 384 GB ส่วน RTX PRO 6000 ราว 95 GB โมเดลเปิดยอดนิยม 61 จาก 73 ตัวรันได้ดีบน M5 Ultra และ 50 ตัวบน RTX PRO 6000
- การอ่านพรอมต์ยาว ในการวัดของ llama.cpp RTX PRO 6000 อ่านพรอมต์เร็วกว่าราว 3 เท่า (14,855 เทียบกับ 4,945 โทเคนต่อวินาที) การอ่านพรอมต์ขึ้นกับพลังประมวลผลของ GPU ไม่ใช่แบนด์วิดท์หน่วยความจำ และเป็นตัวกำหนดเวลารอก่อนคำแรกเมื่อใช้เอกสารยาวหรือโค้ดเบส
- ซอฟต์แวร์ RTX PRO 6000 ใช้ CUDA ของ NVIDIA ซึ่งซอฟต์แวร์ AI ส่วนใหญ่รองรับก่อน รวมถึงโค้ดสำหรับเทรนและเครื่องมือภาพและวิดีโอจำนวนมาก บน Mac คุณรันโมเดลด้วย MLX, แบ็กเอนด์ Metal ของ llama.cpp หรือแบ็กเอนด์ MPS ของ PyTorch แทน
- สิ่งที่ต้องมีรอบตัว การ์ดจอต้องมี PC รองรับ และหน่วยความจำของมันเอง 96 GB คือขีดจำกัด โมเดลที่ใส่ไม่พอต้องรันบางส่วนจากหน่วยความจำระบบของ PC ที่ช้ากว่ามาก หรือแบ่งไปยังการ์ดใบที่สอง
- Mac เป็นคอมพิวเตอร์ใช้งานประจำวันด้วย และรัน MLX Harness กับ MLX Node ที่สร้างมาเพื่อ Apple Silicon
ความเร็วกับโมเดลยอดนิยม
โทเค็นต่อวินาทีสำหรับหนึ่งบทสนทนา แต่ละชิปใช้ขนาดหน่วยความจำใหญ่ที่สุด (512 GB และ 96 GB) กับเวอร์ชันที่ดีที่สุดของโมเดลที่ใส่ได้
| โมเดล | M5 Ultra | RTX PRO 6000 |
|---|---|---|
| Llama 3.1 8B Instruct8B | 64–113 8 บิต | 95–169 8 บิต |
| gpt-oss-20b21B · ใช้งาน 3.6B | 284–505 4.25 บิตแบบเนทีฟ | 424–755 4.25 บิตแบบเนทีฟ |
| Qwen3.6 35B A3B35B · ใช้งาน 3B | 169–300 8 บิต | 252–448 8 บิต |
| Qwen3.8 27B27B | 19–33 8 บิต | 28–50 8 บิต |
| Llama 3.3 70B Instruct70B | 14–24 4 บิต | 11–19 8 บิต |
| gpt-oss-120b117B · ใช้งาน 5.1B | 200–356 4.25 บิตแบบเนทีฟ | 299–531 4.25 บิตแบบเนทีฟ |
| Qwen3.5 122B A10B122B · ใช้งาน 10B | 51–91 8 บิต | 144–256 4 บิต |
| DeepSeek V4 Flash 0731284B · ใช้งาน 13B | 39–70 8 บิต | ใหญ่เกินไป |
คำถาม
- RTX PRO 6000 เร็วกว่า M5 Ultra สำหรับ LLM ไหม
- RTX PRO 6000 อ่านหน่วยความจำเร็วกว่า M5 Ultra ราว 49% (1,792 เทียบกับ 1,200 GB/s) จึงเขียนได้เร็วกว่าราว 49% กับทุกโมเดลที่ใส่ได้ทั้งสองรุ่น ในการวัดของ llama.cpp RTX PRO 6000 อ่านพรอมต์เร็วกว่าราว 3 เท่า (14,855 เทียบกับ 4,945 โทเคนต่อวินาที) การอ่านพรอมต์ขึ้นกับพลังประมวลผลของ GPU ไม่ใช่แบนด์วิดท์หน่วยความจำ และเป็นตัวกำหนดเวลารอก่อนคำแรกเมื่อใช้เอกสารยาวหรือโค้ดเบส
- M5 Ultra หรือ RTX PRO 6000 รุ่นไหนรันโมเดลใหญ่กว่าได้
- M5 Ultra มีหน่วยความจำสำหรับโมเดลราว 384 GB ส่วน RTX PRO 6000 ราว 95 GB โมเดลเปิดยอดนิยม 61 จาก 73 ตัวรันได้ดีบน M5 Ultra และ 50 ตัวบน RTX PRO 6000
- MLX Node รันบน RTX PRO 6000 ได้ไหม
- ไม่ได้ MLX Node และ MLX Harness รันได้เฉพาะบน Mac ที่ใช้ Apple Silicon ด้วยเฟรมเวิร์ก MLX ของ Apple
การเปรียบเทียบอื่นๆ
M5 Ultra สำหรับ AI บนเครื่อง · เปรียบเทียบทุกโมเดล · Mac ที่ดีที่สุดสำหรับรัน LLM บนเครื่อง
วิธีคำนวณ
หน่วยความจำ: พารามิเตอร์ของโมเดลที่ 8, 6, 4, 3 หรือ 2 บิตต่อค่าน้ำหนัก บวกสเกลแบบกลุ่มของ MLX (ครึ่งบิตต่อค่าน้ำหนัก) หรือตามรูปแบบเนทีฟของโมเดล แล้วเผื่อที่สำหรับบริบท โดยค่าเริ่มต้น macOS ให้ GPU ใช้หน่วยความจำแบบรวมได้ราว 75% ความเร็ว: แบนด์วิดท์หน่วยความจำหารด้วยจำนวนไบต์ที่อ่านต่อโทเค็น คือเพดานสำหรับหนึ่งบทสนทนา ในผลทดสอบ Apple Silicon แบบสาธารณะของ llama.cpp การรันจริงทำได้ราว 45% ถึง 80% ของเพดานนี้ ซึ่งเป็นช่วงที่แสดงไว้ ตัวเลขเหล่านี้เป็นค่าประมาณ ไม่ใช่ค่าที่วัดจริง วัด Mac ของคุณเองได้ที่ MLX Bench ตัวเลขโมเดลมาจากการ์ดโมเดลทางการของแต่ละโมเดล ตัวเลขชิปมาจากข้อมูลจำเพาะทางเทคนิคของ Apple ตรวจสอบเมื่อ 2026-10-19 ใช้ข้อมูลเดียวกับ mlx.app/compare
ข้อมูลของ RTX PRO 6000: NVIDIA: RTX PRO 6000 Blackwell Workstation Edition, NVIDIA: RTX PRO Desktop GPUs (compare table)