DGX Spark เร็วกว่า M5 Ultra สำหรับ LLM ไหม

M5 Ultra อ่านหน่วยความจำเร็วกว่า DGX Spark ราว 340% (1,200 เทียบกับ 273 GB/s) จึงเขียนได้เร็วกว่าราว 340% กับทุกโมเดลที่ใส่ได้ทั้งสองรุ่น ในการวัดของ llama.cpp M5 Ultra อ่านพรอมต์เร็วกว่าราว 1.6 เท่า (4,945 เทียบกับ 3,062 โทเคนต่อวินาที) การอ่านพรอมต์ขึ้นกับพลังประมวลผลของ GPU ไม่ใช่แบนด์วิดท์หน่วยความจำ และเป็นตัวกำหนดเวลารอก่อนคำแรกเมื่อใช้เอกสารยาวหรือโค้ดเบส

M5 Ultra หรือ DGX Spark รุ่นไหนรันโมเดลใหญ่กว่าได้

M5 Ultra มีหน่วยความจำสำหรับโมเดลราว 384 GB ส่วน DGX Spark ราว 96 GB โมเดลเปิดยอดนิยม 61 จาก 73 ตัวรันได้ดีบน M5 Ultra และ 39 ตัวบน DGX Spark

MLX Node รันบน DGX Spark ได้ไหม

ไม่ได้ MLX Node และ MLX Harness รันได้เฉพาะบน Mac ที่ใช้ Apple Silicon ด้วยเฟรมเวิร์ก MLX ของ Apple

M5 Ultra vs DGX Spark สำหรับ LLM: หน่วยความจำ ความเร็ว ซื้อรุ่นไหน

เทียบกัน

	M5 Ultra	DGX Spark
คืออะไร	Mac Studio (M5 Max or M5 Ultra)	คอมพิวเตอร์ขนาดเล็กที่ครบในตัว
ขนาดหน่วยความจำ	96, 256, 512 GB	128 GB
แบนด์วิดท์หน่วยความจำ	1,200 GB/s	273 GB/s
ใช้กับโมเดลได้สูงสุด	ราว 384 GB	ราว 96 GB
โมเดลที่รันได้ดี	61 จาก 73	39 จาก 73
วัดจริง: การเขียน	179 tok/s	57 tok/s
วัดจริง: การอ่านพรอมต์	4,945 tok/s	3,062 tok/s

แถวที่วัดจริง: ผลที่เร็วที่สุดของแต่ละเครื่องในเบนช์มาร์กสาธารณะของ llama.cpp กับ Llama 2 7B Q4_0 ทั้งการเขียน 128 โทเคน (tg128) และการอ่านพรอมต์ 512 โทเคน (pp512) เป็นโทเคนต่อวินาที Mac ใช้ Metal ส่วน DGX Spark ใช้ CUDA ผลของ Apple Silicon · ผลของ DGX Spark สำหรับโมเดล เรานับหน่วยความจำราว 75% ทั้งสองเครื่อง ซึ่งเป็นค่าเริ่มต้นของ macOS เพราะ DGX Spark ก็ใช้หน่วยความจำก้อนเดียวร่วมกันระหว่าง CPU และ GPU เช่นกัน GPU ของมันใช้ได้จริงเท่าไรขึ้นกับระบบปฏิบัติการและการตั้งค่า

แต่ละเครื่องเด่นตรงไหน

ความเร็วในการเขียน M5 Ultra อ่านหน่วยความจำเร็วกว่า DGX Spark ราว 340% (1,200 เทียบกับ 273 GB/s) จึงเขียนได้เร็วกว่าราว 340% กับทุกโมเดลที่ใส่ได้ทั้งสองรุ่น
ขนาดโมเดล M5 Ultra มีหน่วยความจำสำหรับโมเดลราว 384 GB ส่วน DGX Spark ราว 96 GB โมเดลเปิดยอดนิยม 61 จาก 73 ตัวรันได้ดีบน M5 Ultra และ 39 ตัวบน DGX Spark
การอ่านพรอมต์ยาว ในการวัดของ llama.cpp M5 Ultra อ่านพรอมต์เร็วกว่าราว 1.6 เท่า (4,945 เทียบกับ 3,062 โทเคนต่อวินาที) การอ่านพรอมต์ขึ้นกับพลังประมวลผลของ GPU ไม่ใช่แบนด์วิดท์หน่วยความจำ และเป็นตัวกำหนดเวลารอก่อนคำแรกเมื่อใช้เอกสารยาวหรือโค้ดเบส
ซอฟต์แวร์ DGX Spark ใช้ CUDA ของ NVIDIA ซึ่งซอฟต์แวร์ AI ส่วนใหญ่รองรับก่อน รวมถึงโค้ดสำหรับเทรนและเครื่องมือภาพและวิดีโอจำนวนมาก บน Mac คุณรันโมเดลด้วย MLX, แบ็กเอนด์ Metal ของ llama.cpp หรือแบ็กเอนด์ MPS ของ PyTorch แทน
สิ่งที่ต้องมีรอบตัว ทั้งสองเป็นคอมพิวเตอร์ครบในตัว ที่เก็บโมเดลไว้ในหน่วยความจำก้อนเดียวที่ CPU และ GPU ใช้ร่วมกัน
Mac เป็นคอมพิวเตอร์ใช้งานประจำวันด้วย และรัน MLX Harness กับ MLX Node ที่สร้างมาเพื่อ Apple Silicon

ความเร็วกับโมเดลยอดนิยม

โทเค็นต่อวินาทีสำหรับหนึ่งบทสนทนา แต่ละชิปใช้ขนาดหน่วยความจำใหญ่ที่สุด (512 GB และ 128 GB) กับเวอร์ชันที่ดีที่สุดของโมเดลที่ใส่ได้

โมเดล	M5 Ultra	DGX Spark
Llama 3.1 8B Instruct8B	64–113 8 บิต	14–26 8 บิต
gpt-oss-20b21B · ใช้งาน 3.6B	284–505 4.25 บิตแบบเนทีฟ	65–115 4.25 บิตแบบเนทีฟ
Qwen3.6 35B A3B35B · ใช้งาน 3B	169–300 8 บิต	38–68 8 บิต
Qwen3.8 27B27B	19–33 8 บิต	4–8 8 บิต
Llama 3.3 70B Instruct70B	14–24 4 บิต	2–3 8 บิต
gpt-oss-120b117B · ใช้งาน 5.1B	200–356 4.25 บิตแบบเนทีฟ	45–81 4.25 บิตแบบเนทีฟ
Qwen3.5 122B A10B122B · ใช้งาน 10B	51–91 8 บิต	22–39 4 บิต
DeepSeek V4 Flash 0731284B · ใช้งาน 13B	39–70 8 บิต	30–53 2 บิต คุณภาพต่ำลง

คำถาม

DGX Spark เร็วกว่า M5 Ultra สำหรับ LLM ไหม: M5 Ultra อ่านหน่วยความจำเร็วกว่า DGX Spark ราว 340% (1,200 เทียบกับ 273 GB/s) จึงเขียนได้เร็วกว่าราว 340% กับทุกโมเดลที่ใส่ได้ทั้งสองรุ่น ในการวัดของ llama.cpp M5 Ultra อ่านพรอมต์เร็วกว่าราว 1.6 เท่า (4,945 เทียบกับ 3,062 โทเคนต่อวินาที) การอ่านพรอมต์ขึ้นกับพลังประมวลผลของ GPU ไม่ใช่แบนด์วิดท์หน่วยความจำ และเป็นตัวกำหนดเวลารอก่อนคำแรกเมื่อใช้เอกสารยาวหรือโค้ดเบส
M5 Ultra หรือ DGX Spark รุ่นไหนรันโมเดลใหญ่กว่าได้: M5 Ultra มีหน่วยความจำสำหรับโมเดลราว 384 GB ส่วน DGX Spark ราว 96 GB โมเดลเปิดยอดนิยม 61 จาก 73 ตัวรันได้ดีบน M5 Ultra และ 39 ตัวบน DGX Spark
MLX Node รันบน DGX Spark ได้ไหม: ไม่ได้ MLX Node และ MLX Harness รันได้เฉพาะบน Mac ที่ใช้ Apple Silicon ด้วยเฟรมเวิร์ก MLX ของ Apple

การเปรียบเทียบอื่นๆ

M5 Ultra สำหรับ AI บนเครื่อง · เปรียบเทียบทุกโมเดล · Mac ที่ดีที่สุดสำหรับรัน LLM บนเครื่อง

วิธีคำนวณ

หน่วยความจำ: พารามิเตอร์ของโมเดลที่ 8, 6, 4, 3 หรือ 2 บิตต่อค่าน้ำหนัก บวกสเกลแบบกลุ่มของ MLX (ครึ่งบิตต่อค่าน้ำหนัก) หรือตามรูปแบบเนทีฟของโมเดล แล้วเผื่อที่สำหรับบริบท โดยค่าเริ่มต้น macOS ให้ GPU ใช้หน่วยความจำแบบรวมได้ราว 75% ความเร็ว: แบนด์วิดท์หน่วยความจำหารด้วยจำนวนไบต์ที่อ่านต่อโทเค็น คือเพดานสำหรับหนึ่งบทสนทนา ในผลทดสอบ Apple Silicon แบบสาธารณะของ llama.cpp การรันจริงทำได้ราว 45% ถึง 80% ของเพดานนี้ ซึ่งเป็นช่วงที่แสดงไว้ ตัวเลขเหล่านี้เป็นค่าประมาณ ไม่ใช่ค่าที่วัดจริง วัด Mac ของคุณเองได้ที่ MLX Bench ตัวเลขโมเดลมาจากการ์ดโมเดลทางการของแต่ละโมเดล ตัวเลขชิปมาจากข้อมูลจำเพาะทางเทคนิคของ Apple ตรวจสอบเมื่อ 2026-10-19 ใช้ข้อมูลเดียวกับ mlx.app/compare

ข้อมูลของ DGX Spark: NVIDIA: DGX Spark (specs)