Mac ของคุณรันอะไรได้บ้าง?
เลือก Mac ของคุณ หรือเครื่องอื่นใดก็ได้ แล้วดูว่าโมเดล AI แบบเปิดตัวไหนใส่ในหน่วยความจำได้ และรันได้เร็วแค่ไหน คำนวณจากการ์ดของแต่ละโมเดล และหน่วยความจำกับแบนด์วิดท์ที่ประกาศไว้ของแต่ละชิป
Apple M5 หน่วยความจำ 16 GB: ใช้กับโมเดลได้ราว 12 GB ตามค่าเริ่มต้น แบนด์วิดท์หน่วยความจำ 153 GB/s รันโมเดลยอดนิยมได้ 20 จาก 43 ตัว หน้าของรุ่นนี้ วัดจริง: 32 โทเค็น/วินาที กับ Llama 2 7B แบบ 4 บิตใน llama.cpp (M5 (10-core GPU))
ความฉลาด: Artificial Analysis Intelligence Index v4.3.2 เฉพาะที่มีการวัด ชื่อโมเดลลิงก์ไปยังการ์ดทางการ
วิธีคำนวณ
หน่วยความจำ แต่ละโมเดลแสดงที่ความละเอียดสูงสุดที่ยังใส่ได้: 8, 6, 4, 3 หรือ 2 บิตต่อค่าน้ำหนัก บวกสเกลแบบกลุ่มของ MLX (ครึ่งบิตต่อค่าน้ำหนัก) หรือตามรูปแบบเนทีฟหากโมเดลเผยแพร่แบบนั้น บน Mac ค่าเริ่มต้นให้ GPU ใช้หน่วยความจำรวมได้ราว 75% และเราเผื่อที่สำหรับบริบทไว้ด้วย
ความเร็ว ตอนเขียน แต่ละโทเค็นต้องอ่านค่าน้ำหนักที่ทำงานอยู่ทั้งหมดหนึ่งรอบ ดังนั้นแบนด์วิดท์หน่วยความจำหารด้วยจำนวนไบต์นั้นคือเพดานสำหรับหนึ่งบทสนทนา ในเบนช์มาร์ก Apple Silicon สาธารณะของ llama.cpp การรันจริงทำได้ราว 45% ถึง 80% ของเพดานนั้น ซึ่งเป็นช่วงที่แสดงไว้ ส่วนการอ่านพรอมต์ยาว ๆ ขึ้นกับพลังประมวลผลจึงไม่ได้แสดงไว้
แหล่งที่มา จำนวนพารามิเตอร์ บริบท และไลเซนส์มาจากการ์ดทางการของแต่ละโมเดลบน Hugging Face (ลิงก์จากชื่อโมเดล) ส่วนหน่วยความจำและแบนด์วิดท์มาจากสเปกของ Apple และผู้ผลิต ตรวจสอบเมื่อ 2026-10-19 วัด Mac ของคุณเองได้ที่ MLX Bench ทุก Mac ทุกโมเดล และตารางความเข้ากันได้ทั้งหมดดาวน์โหลดฟรีเป็น JSON และ CSV: ข้อมูลเปิด
เลือกดู Mac ทุกรุ่น ตั้งแต่ M1 8 GB ถึง M5 Ultra 512 GB พร้อมทุกโมเดลที่รันได้ และทุกโมเดล พร้อม Mac ที่เล็กที่สุดที่ต้องใช้
ลองรัน ทีละขั้นตอน: ดาวน์โหลดและรัน LLM บน Mac, MLX เทียบ Ollama เทียบ llama.cpp และMac ที่ดีที่สุดสำหรับ LLM แบบโลคัล ระหว่างที่ Mac ว่าง ยังหา MLX Token ได้ด้วย
- จะรู้ได้อย่างไรว่า LLM รันบน Mac ของฉันได้?
- เทียบขนาดของโมเดลที่ความละเอียดที่ต้องการกับหน่วยความจำรวมของ Mac โดยค่าเริ่มต้น macOS ให้ GPU ใช้ได้ราว 75% และโมเดลยังต้องมีที่สำหรับบริบทด้วย โมเดล 4 บิตต้องใช้ราวครึ่งกิกะไบต์กว่า ๆ ต่อพารามิเตอร์หนึ่งพันล้านตัว
- จะได้กี่โทเค็นต่อวินาที?
- ความเร็วในการเขียนถูกจำกัดด้วยแบนด์วิดท์หน่วยความจำ เพราะแต่ละโทเค็นต้องอ่านค่าน้ำหนักที่ทำงานอยู่ของโมเดลหนึ่งรอบ แบนด์วิดท์หารด้วยจำนวนไบต์ที่อ่านต่อโทเค็นคือเพดานสำหรับหนึ่งบทสนทนา โดยการรันจริงมักทำได้ราว 45% ถึง 80% ของเพดานนั้น
- ทำไมโมเดลแบบ Mixture of Experts (MoE) ถึงเร็วกว่า?
- โมเดลเหล่านี้เก็บผู้เชี่ยวชาญ (expert) ไว้ในหน่วยความจำจำนวนมาก แต่ใช้เพียงไม่กี่ตัวต่อหนึ่งโทเค็น แต่ละโทเค็นจึงอ่านไบต์น้อยลงมาก ต้องใช้หน่วยความจำเท่ากับทั้งโมเดล แต่รันได้เร็วเท่าโมเดลที่เล็กกว่ามาก
- 4 บิตดีพอไหม?
- สำหรับโมเดลส่วนใหญ่ 4 บิตยังคงคุณภาพใกล้เคียงต้นฉบับ ต่ำกว่า 4 บิตคุณภาพจะลดลงเร็วขึ้น เวอร์ชันที่ต่ำกว่า 4 บิตจึงมีเครื่องหมายกำกับไว้