เข้าสู่ระบบสร้างวอลเล็ต

Mac mini vs Mac Studio สำหรับ AI

ทั้งสองเป็น Mac เดสก์ท็อปขนาดเล็กที่รันโมเดล AI ด้วย GPU และหน่วยความจำแบบรวมของตัวเอง ความต่างที่สำคัญคือได้หน่วยความจำมากแค่ไหน และชิปอ่านหน่วยความจำได้เร็วเท่าไร นี่คือการเปรียบเทียบจากตัวเลขของ Apple และรุ่นไหนเหมาะกับโมเดลแบบไหน

อัปเดต

สรุปสั้น ๆ

  • Mac mini มีสูงสุด 64 GB (M5 Pro) ส่วน Mac Studio มีสูงสุด 128 GB กับ M5 Max และ 512 GB กับ M5 Ultra (Apple, Apple)
  • แบนด์วิดท์กำหนดความเร็วในการเขียน: 153–170 GB/s บน Mac mini M6, 307 GB/s บน M5 Pro, สูงสุด 614 GB/s บน M5 Max และ 1,200 GB/s บน M5 Ultra
  • โมเดลถึงราว 30B พารามิเตอร์ที่ 4 บิต: Mac mini กับ M5 Pro ก็พอ โมเดลระดับ 70B, gpt-oss-120b หรือคอนเท็กซ์ยาว: Mac Studio กับ 128 GB โมเดลแบบเปิดที่ใหญ่ที่สุด: Mac Studio กับ M5 Ultra
  • หน่วยความจำอัปเกรดทีหลังไม่ได้ จึงควรเลือกตามโมเดลที่คุณอยากรันในปีหน้า ไม่ใช่แค่วันนี้

1สเปกที่สำคัญสำหรับ AI

Macตัวเลือกหน่วยความจำแบนด์วิดท์หน่วยความจำโมเดลใหญ่สุดที่ 4 บิตการใช้ไฟ ตอนว่างถึงสูงสุด
Mac mini, M616, 24 หรือ 32 GB153–170 GB/sราว 21B ถึง 42B4–70 W
Mac mini, M5 Pro24, 48 หรือ 64 GB307 GB/sราว 32B ถึง 85B6–145 W
Mac Studio, M5 Max36, 48, 64 หรือ 128 GB460–614 GB/sราว 48B ถึง 170B7–200 W
Mac Studio, M5 Ultra96, 256 หรือ 512 GB1,200 GB/sราว 128B ถึง 682B9–385 W
หน่วยความจำและแบนด์วิดท์จากข้อมูลจำเพาะทางเทคนิคของ Apple สำหรับ Mac mini และ Mac Studio การใช้ไฟจากตัวเลขของ Apple สำหรับ Mac mini และ Mac Studio โมเดลใหญ่สุด: เฉพาะค่าน้ำหนัก โดย GPU ใช้หน่วยความจำได้ราว 75% (วิธีคำนวณ)

ทุกคอนฟิกลิงก์ไปยังโมเดลที่รันได้ดีบนเครื่องนั้น รุ่นก่อนหน้าก็ทำงานแบบเดียวกัน: Mac mini กับ M4 หรือ M4 Pro และ Mac Studio กับ M4 Max หรือ M3 Ultra (อันดับ Mac ทุกรุ่น)

2แต่ละรุ่นเขียนได้เร็วแค่ไหน

การเขียนข้อความต้องอ่านค่าน้ำหนักที่ใช้งานของโมเดลหนึ่งรอบต่อทุกโทเค็น แบนด์วิดท์หน่วยความจำจึงเป็นเพดานของความเร็ว สำหรับโมเดล dense 32B ที่ 4 บิต ราว 18 GB:

Macเพดานสำหรับแชตเดียวใส่ได้ไหม?
Mac mini, M6 (32 GB)ราว 9 โทเค็นต่อวินาทีได้
Mac mini, M5 Pro (48 หรือ 64 GB)ราว 17 โทเค็นต่อวินาทีได้
Mac Studio, M5 Max (48 GB ขึ้นไป)ราว 34 โทเค็นต่อวินาทีได้
Mac Studio, M5 Ultraราว 67 โทเค็นต่อวินาทีได้
แบนด์วิดท์หารด้วย 18 GB การรันจริงมักได้ราว 45% ถึง 80% ของเพดาน (ผลทดสอบ llama.cpp) เป็นค่าประมาณ ไม่ใช่ค่าที่วัดจริง

โมเดลแบบ mixture-of-experts อ่านค่าน้ำหนักเพียงส่วนเดียวต่อโทเค็น จึงเขียนได้เร็วกว่าที่ขนาดของมันบอกมาก: หน่วยความจำกำหนดว่าใส่ได้หรือไม่ ส่วนแบนด์วิดท์ยังกำหนดจังหวะ การอ่านพรอมต์ยาวขึ้นกับพลังประมวลผลของ GPU มากกว่าแบนด์วิดท์ และตรงนี้ GPU ที่ใหญ่กว่าของชิป Max และ Ultra จะทิ้งห่างยิ่งขึ้น

3รุ่นไหนสำหรับโมเดลไหน

  • โมเดลขนาดเล็กและกลาง (ถึงราว 30B ที่ 4 บิต) แชต ผู้ช่วยเขียนโค้ด และ AI server ที่บ้าน: Mac mini กับ M5 Pro และ 48 หรือ 64 GB Mac mini M6 กับ 32 GB รันขนาดเดียวกันได้ที่ความเร็วราวครึ่งหนึ่ง
  • โมเดลระดับ 70B, gpt-oss-120b, คอนเท็กซ์ยาว หรือหลายโมเดลพร้อมกัน: Mac Studio กับ M5 Max และ 128 GB ไฟล์ gpt-oss-120b ของ OpenAI เองมีขนาดราว 65 GB (OpenAI) มากกว่าที่ Mac mini รุ่นไหนให้ GPU ใช้ได้
  • โมเดลแบบเปิดที่ใหญ่ที่สุด (หลายแสนล้านพารามิเตอร์): Mac Studio กับ M5 Ultra และ 256 หรือ 512 GB หรือ Mac หลายเครื่องรวมกัน (คลัสเตอร์ AI ด้วย Mac)

สำหรับโมเดลที่ต้องการ หน้าของโมเดลนั้นแสดง Mac ที่เล็กที่สุดที่รันได้และความเร็วบนทุกชิป: โมเดลแบบเปิดทุกตัว

4เปิดใช้งานทั้งวัน

ทั้งสองรุ่นเป็นเครื่องที่เปิดตลอดได้อย่างเงียบและประหยัด ตามตัวเลขของ Apple ข้างบน Mac mini ใช้ไฟ 4–6 W ตอนว่าง และ Mac Studio 7–9 W เมื่อทำงานเต็มที่ Mac Studio กับ M5 Ultra ใช้ได้ถึง 385 W Mac mini ทำ AI server ในเครื่อง อธิบายการตั้งให้ไม่หลับและให้บริการโมเดลกับอุปกรณ์อื่น ส่วน Mac กินไฟเท่าไร บอกค่าใช้จ่ายต่อวัน

เมื่อเครื่องว่าง MLX Node รันงาน AI ให้ MLX Network และได้รับ MLX Tokens ได้ ที่นั่งเฉพาะ ที่ตรงกับชิปจะขุดได้เร็วขึ้น: Core สำหรับ M6, Pro สำหรับ M5 Pro และ M5 Max, Ultra สำหรับ M5 Ultra รายได้ไม่มีการรับประกัน: อ่านความเสี่ยง

5คำถาม

Mac Studio คุ้มกว่า Mac mini สำหรับ AI ไหม?
ถ้าคุณอยากรันโมเดลที่ใหญ่กว่าราว 85B พารามิเตอร์ gpt-oss-120b หรือคอนเท็กซ์ยาว คุ้ม: มีแค่ Mac Studio ที่มีมากกว่า 64 GB สำหรับโมเดลถึงราว 30B ที่ 4 บิต Mac mini กับ M5 Pro รันได้ ด้วยแบนด์วิดท์ราวครึ่งหนึ่งของ M5 Max
Mac mini รันโมเดล 70B ได้ไหม?
ได้เฉพาะ M5 Pro กับ 64 GB ที่ 4 บิตและคอนเท็กซ์สั้น: ค่าน้ำหนักราว 39 GB จาก 48 GB ที่ GPU ใช้ได้โดยค่าเริ่มต้น ที่ไม่กี่โทเค็นต่อวินาที Mac Studio กับ 128 GB รันได้โดยเหลือที่สำหรับคอนเท็กซ์ และเร็วกว่าราวสองเท่า
Mac Studio M5 Max หรือ M5 Ultra สำหรับ LLM?
M5 Ultra มีแบนด์วิดท์ราวสองเท่า (1,200 เทียบกับ 614 GB/s) จึงเขียนได้เร็วกว่าราวสองเท่า และมีได้ถึง 512 GB ส่วน M5 Max กับ 128 GB รองรับโมเดลถึงราว 170B ที่ 4 บิต ดู M5 Max vs M5 Ultra
Mac mini M6 หรือ M5 Pro สำหรับ AI?
M5 Pro: อ่านหน่วยความจำเร็วกว่า M6 ที่มี 24 หรือ 32 GB ราว 80% และมีได้ถึง 64 GB แทนที่จะเป็น 32 GB

แหล่งที่มา

  1. Applesupport.apple.com
  2. Applesupport.apple.com
  3. Mac minisupport.apple.com
  4. Mac Studiosupport.apple.com
  5. ผลทดสอบ llama.cppgithub.com
  6. OpenAIhuggingface.co

อ่านต่อ

รัน AI บน Apple SiliconMac ที่ดีที่สุดสำหรับรัน LLM บนเครื่องMac รุ่นไหนดีสำหรับรัน LLM บนเครื่อง แรมกำหนดขนาดโมเดล แบนด์วิดท์กำหนดความเร็ว เทียบชิป Apple Silicon ทุกรุ่น ตั้งแต่ MacBook Air ถึง Mac Studio M5 Ultraอ่านคู่มือรัน AI บน Apple SiliconMac mini เป็น AI server ของคุณเปลี่ยน Mac mini เป็น AI server ที่เปิดตลอด: โมเดลไหนใส่ Mac mini รุ่นไหนได้ ตั้งให้ไม่หลับ ให้บริการ API แบบ OpenAI กับเครือข่ายและเอเจนต์ และการใช้ไฟอ่านคู่มือรัน AI บน Apple Siliconรัน LLM ต้องใช้แรมเท่าไรสูตรเดียวใช้ได้กับทุก LLM: ราว 0.56 GB ต่อพันล้านพารามิเตอร์ที่ 4 บิต 2 GB ที่ 16 บิต บวกแรมสำหรับคอนเท็กซ์ พร้อมตาราง 1B ถึง 671B และทุกขนาดแรมของ Macอ่านคู่มือ