Mac mini เป็น AI server ของคุณ

1ทำไมต้อง Mac mini

การเขียนข้อความด้วยโมเดลภาษาถูกจำกัดด้วยความเร็วในการอ่านค่าน้ำหนักจากหน่วยความจำ บน Mac GPU อ่านหน่วยความจำแบบรวมได้โดยตรง Mac mini 64 GB จึงจุโมเดลที่ใส่การ์ดจอสำหรับผู้ใช้ทั่วไปไม่ได้ โดยใช้ไฟไม่กี่วัตต์ตอนว่าง ใช้พื้นที่น้อยและรัน macOS เครื่องมือเดียวกับบน MacBook จึงใช้ได้เหมือนกัน

ข้อจำกัดของมันคือหน่วยความจำและแบนด์วิดท์ Mac mini รุ่นใหญ่สุดมี 64 GB ที่ 307 GB/s สำหรับโมเดลระดับ 70B ที่ความละเอียดสูงขึ้นหรือโมเดลแบบเปิดที่ใหญ่ที่สุด ขั้นต่อไปคือ Mac Studio ที่มีสูงสุด 512 GB (Apple) ดู Mac ที่ดีที่สุดสำหรับรัน LLM

2Mac mini รุ่นไหนสำหรับโมเดลไหน

แบนด์วิดท์กำหนดความเร็ว: M5 Pro อ่านหน่วยความจำเร็วกว่า M6 ที่มี 24 หรือ 32 GB ราว 80% โมเดลเดียวกันจึงเขียนได้เร็วขึ้นถึงราว 80% บนเครื่องนี้ แต่ละแถวลิงก์ไปยังทุกโมเดลที่รันได้ดีบน Mac เครื่องนั้นพร้อมความเร็ว Mac mini รุ่นก่อนที่ใช้ M4 และ M4 Pro ก็ทำงานแบบเดียวกัน: Mac mini M4 Pro

เอเจนต์และเอกสารยาวต้องใช้หน่วยความจำสำหรับคอนเท็กซ์เพิ่มจากตัวโมเดล ถ้างานหลักคือเอเจนต์ AI ให้เลือกหน่วยความจำมากกว่าชิปที่เร็วกว่า

3ตั้งให้ไม่หลับและเข้าถึงได้ตลอด

เปิดการตั้งค่าระบบ › พลังงาน บน Mac mini (Apple):

• ป้องกันการพักเครื่องอัตโนมัติเมื่อจอภาพปิดอยู่: เปิด เพื่อให้เซิร์ฟเวอร์ตอบได้ต่อแม้ไม่ได้ต่อจอ
• เริ่มต้นระบบอัตโนมัติหลังจากไฟฟ้าดับ: เปิด เพื่อให้กลับมาทำงานเอง
• ปลุกสำหรับการเข้าถึงเครือข่าย: เปิด ถ้าคุณปล่อยให้มันพักเครื่อง
• โหมดพลังงานต่ำ: Apple แนะนำสำหรับคอมพิวเตอร์ที่เปิดตลอด เช่น เซิร์ฟเวอร์ เพื่อลดการใช้พลังงานและเสียงพัดลม

หากต้องการจัดการโดยไม่ใช้จอ ให้เปิดการเข้าสู่ระบบระยะไกล (SSH) หรือการแชร์หน้าจอในการตั้งค่าระบบ › ทั่วไป › การแชร์ (Apple) ตั้งแอปเซิร์ฟเวอร์ให้เปิดเมื่อเข้าสู่ระบบ เพื่อให้ทุกอย่างกลับมาหลังรีสตาร์ต

4ให้บริการโมเดลกับอุปกรณ์อื่นของคุณ

เครื่องมือแต่ละตัวนี้รันโมเดลบน Mac mini และให้ API แก่แอปอื่น ๆ ของคุณในรูปแบบเดียวกับ API ของ OpenAI ซึ่งแอปแชต เครื่องมือเขียนโค้ด และเอเจนต์ส่วนใหญ่รองรับ:

ตัวอย่างเช่นกับ mlx-lm:

pip install mlx-lm
mlx_lm.server --model mlx-community/Qwen3-8B-4bit --host 0.0.0.0 --port 8080

# from another computer on the same network
curl http://<mac-mini-name>.local:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Hello"}]}'

โดยค่าเริ่มต้น Ollama จะปลดโมเดลออกจากหน่วยความจำหลังไม่มีคำขอ 5 นาที ตั้ง OLLAMA_KEEP_ALIVE เพื่อให้โมเดลอยู่ในหน่วยความจำบนเซิร์ฟเวอร์ (Ollama) แอปรัน LLM บน Mac ที่ดีที่สุด เทียบเครื่องมือเหล่านี้อย่างละเอียด

AI App Store รวบรวมเครื่องมือเหล่านี้และแอปอื่นที่รันโมเดลในเครื่อง แต่ละรายการมีลิงก์ดาวน์โหลดทางการของผู้พัฒนา สัญญาอนุญาต และข้อมูลของคุณถูกส่งไปที่ใด

5รันเอเจนต์ AI บนเครื่องนี้

ตอนนี้ Mac mini จำนวนมากรันเอเจนต์ AI ที่ทำงานผ่านแอปแชต ไฟล์ และเว็บตลอดเวลา ตัวอย่างเช่น OpenClaw เป็นผู้ช่วยโอเพนซอร์สที่รันบนคอมพิวเตอร์ของคุณเอง โดยโมเดล รวมถึงโมเดลในเครื่อง เป็นปลั๊กอินที่สลับได้ (OpenClaw) ชี้เอเจนต์แบบนี้ไปที่ที่อยู่ของเซิร์ฟเวอร์ในเครื่อง มันจะใช้โมเดลบน Mac mini ของคุณแทน API บนคลาวด์

มีสองเรื่องที่สำคัญกับเอเจนต์มากกว่าแชต อย่างแรกคือคอนเท็กซ์: เอเจนต์ส่งพรอมต์ยาวพร้อมคำอธิบายเครื่องมือและประวัติ ซึ่งใช้หน่วยความจำเพิ่มจากตัวโมเดล (ดูเหตุผล) อย่างที่สองคือคุณภาพของโมเดล: โมเดลใหญ่สุดที่รันได้ดีบน Mac mini ของคุณจะทำตามคำสั่งและเรียกใช้เครื่องมือได้แม่นยำกว่าโมเดลเล็ก

6รักษาความเป็นส่วนตัว

• เซิร์ฟเวอร์เหล่านี้รับเฉพาะจาก Mac เครื่องนั้นเองจนกว่าคุณจะเปลี่ยน เปิดให้เฉพาะเครือข่ายที่บ้านหรือออฟฟิศ และเฉพาะเมื่อคุณไว้ใจอุปกรณ์ในเครือข่ายนั้น
• เอกสารของ mlx-lm เองระบุว่าไม่แนะนำให้ใช้เซิร์ฟเวอร์ของมันในโปรดักชัน เพราะมีแค่การตรวจสอบความปลอดภัยพื้นฐาน (mlx-lm)
• อย่าฟอร์เวิร์ดพอร์ตออกสู่อินเทอร์เน็ต หากต้องการเข้าถึง Mac mini จากภายนอก ให้ใช้เครือข่ายส่วนตัว เช่น VPN
• เอเจนต์ที่รันคำสั่งหรือส่งข้อความได้จะทำงานด้วยบัญชีของคุณ: ให้สิทธิ์เท่าที่จำเป็นเท่านั้น

7ค่าใช้จ่าย และชั่วโมงที่เครื่องว่าง

เซิร์ฟเวอร์ที่บ้านใช้เวลาส่วนใหญ่ของวันไปกับการรอ MLX Node ใช้ชั่วโมงเหล่านั้นได้: มันรันงาน AI ให้ MLX Network ภายในขีดจำกัดที่คุณตั้ง รวมถึงหน่วยความจำที่งานหนึ่งใช้ได้ และได้รับ MLX Tokens บนที่นั่งฟรี สูงสุด 1 MLX ต่อวัน หยุดชั่วคราวเมื่อคุณต้องใช้ Mac mini เต็มความเร็ว หรือให้มันเริ่มเฉพาะหลังจาก Mac ว่างอยู่ รายได้ขึ้นกับเครือข่ายและไม่มีการรับประกัน: อ่านความเสี่ยง

8คำถาม

Mac mini เหมาะกับงาน AI ไหม?

สำหรับการรันโมเดลในเครื่อง เหมาะ: GPU อ่านหน่วยความจำแบบรวมได้โดยตรง M5 Pro กับ 64 GB จึงจุโมเดลได้ถึงราว 85B พารามิเตอร์ที่ 4 บิต โดยใช้ไฟไม่กี่วัตต์ตอนว่าง สำหรับการเทรนหรือโมเดลที่ใหญ่ที่สุด Mac Studio หรือเซิร์ฟเวอร์ GPU เป็นเครื่องมือที่ดีกว่า

ควรซื้อ Mac mini รุ่นไหนทำเซิร์ฟเวอร์ LLM ในเครื่อง?

หน่วยความจำมากที่สุดเท่าที่ทำได้: หน่วยความจำกำหนดว่าโมเดลไหนใส่ได้ และอัปเกรดทีหลังไม่ได้ M5 Pro ยังอ่านหน่วยความจำเร็วกว่า M6 ที่มี 24 หรือ 32 GB ราว 80% จึงเขียนได้เร็วกว่า เทียบทุกคอนฟิกได้ที่ Mac mini M5 Pro และ Mac mini M6

Mac mini รันโมเดล 70B ได้ไหม?

ได้เฉพาะ M5 Pro กับ 64 GB ที่ 4 บิตและคอนเท็กซ์สั้น: ค่าน้ำหนักใช้ราว 39 GB จาก 48 GB ที่ GPU ใช้ได้โดยค่าเริ่มต้น และเขียนได้ช้า ไม่กี่โทเค็นต่อวินาที ดู Llama 3.3 70B บน Mac

จะใช้โมเดลบน Mac mini จากแล็ปท็อปหรือมือถือได้อย่างไร?

เปิดเซิร์ฟเวอร์ให้รับจากเครือข่ายของคุณ (เช่น mlx_lm.server --host 0.0.0.0) แล้วตั้งแอปบนอุปกรณ์อีกเครื่องให้ชี้ไปที่ http://<mac-mini-name>.local:8080/v1 เป็นปลายทางที่เข้ากันได้กับ OpenAI

AI server บน Mac mini ใช้ไฟเท่าไร?

Mac mini M6 ใช้ราว 4 W ตอนว่าง และสูงสุด 70 W ส่วน M5 Pro 6 W ถึง 145 W ถ้าทำงานเต็มที่ทั้งวัน ก็ใช้ไม่เกิน 1.68 หรือ 3.48 kWh (Apple)