รัน LLM ต้องใช้แรมเท่าไร

1สูตร: พารามิเตอร์ × บิต

โมเดลส่วนใหญ่คือค่าน้ำหนัก: หนึ่งตัวเลขต่อหนึ่งพารามิเตอร์ ถ้าเก็บที่ 16 บิต แต่ละตัวใช้ 2 ไบต์ โมเดลจึงต้องใช้ 2 GB ต่อพันล้านพารามิเตอร์ การควอนไทซ์เก็บค่าน้ำหนักแต่ละตัวด้วยบิตที่น้อยลง ซึ่งลดขนาดโมเดลลงเกือบตามสัดส่วน ที่ 4 บิต โมเดลส่วนใหญ่ยังคงคุณภาพใกล้เคียงต้นฉบับ

ฟอร์แมตที่ควอนไทซ์แล้วยังเก็บข้อมูลเพิ่มเล็กน้อยเพื่อสร้างค่าน้ำหนักกลับคืน MLX ของ Apple เก็บค่า scale และ bias สำหรับค่าน้ำหนักทุกกลุ่ม 64 ตัวโดยค่าเริ่มต้น ในชนิด 16 บิตของโมเดลเอง (MLX) ซึ่งเพิ่มครึ่งบิตต่อค่าน้ำหนัก ได้ขนาดดังนี้:

ต่ำกว่า 4 บิต คุณภาพจะลดลงเร็วขึ้น ค่าเริ่มต้นที่ดีคือความละเอียดสูงสุดที่ใส่ได้และยังเหลือที่ว่างพอ

2หน่วยความจำสำหรับโมเดลขนาดที่พบบ่อย

บางโมเดลออกมาในความละเอียดต่ำของมันเอง gpt-oss-120b ของ OpenAI มี 117 พันล้านพารามิเตอร์ และเก็บค่าน้ำหนักแบบ mixture-of-experts ในฟอร์แมต 4 บิตชื่อ MXFP4 จึงใส่ใน GPU 80 GB ตัวเดียวได้ (OpenAI) สำหรับโมเดลที่ต้องการ เปิดหน้าของโมเดลนั้นได้: โมเดลแบบเปิดทุกตัวกับ Mac ที่ต้องใช้ เช่น gpt-oss-120b หรือ Llama 3.3 70B

3คอนเท็กซ์ก็ใช้หน่วยความจำ

ขณะที่โมเดลอ่านและเขียน มันเก็บ key และ value ของทุกโทเค็นในบทสนทนาไว้ในทุกเลเยอร์ เรียกว่า KV cache ขนาดของมันคือ 2 × จำนวนเลเยอร์ × จำนวน KV head × ขนาด head × ไบต์ต่อค่า × จำนวนโทเค็น

ตัวอย่างเช่น Qwen3 8B มี 36 เลเยอร์ 8 KV head และขนาด head 128 เก็บที่ 16 บิต (config) ได้ 147,456 ไบต์ต่อโทเค็น:

โมเดลที่ใช้ grouped-query attention แบบตัวนี้มี KV head น้อยกว่า attention head (8 ต่อ 32) ซึ่งลดขนาดแคชลงสี่เท่าอยู่แล้ว คุณประหยัดได้อีกด้วยการควอนไทซ์แคช: เซิร์ฟเวอร์ของ mlx-lm รับ --kv-bits 4 (mlx-lm) สำหรับแชต คอนเท็กซ์ไม่กี่พันโทเค็นก็เพียงพอ สำหรับเอเจนต์ เอกสารยาว หรือโค้ด ควรเผื่อไว้หลายกิกะไบต์

4Mac ใส่โมเดลได้ใหญ่แค่ไหน

หน่วยความจำของ Mac ใช้ร่วมกันระหว่าง CPU และ GPU และโดยค่าเริ่มต้น macOS ให้ GPU ใช้ได้แค่บางส่วน หน้า Compare ของเราคิดไว้ราว 75% README ของ mlx-lm แสดงวิธีเพิ่มขีดจำกัดบน macOS 15 ขึ้นไปด้วย sudo sysctl iogpu.wired_limit_mb=N (mlx-lm) แต่ macOS และแอปอื่น ๆ ของคุณยังต้องการพื้นที่

หน่วยความจำกำหนดว่าอะไรใส่ได้ แบนด์วิดท์หน่วยความจำกำหนดว่าเขียนได้เร็วแค่ไหน Mac ที่ดีที่สุดสำหรับรัน LLM อธิบายครึ่งหลังนี้ และ อันดับ Mac ทุกรุ่น รวมทั้งสองอย่างไว้ด้วยกัน

5RAM, VRAM และหน่วยความจำแบบรวม

บนพีซีที่มีการ์ดจอ โมเดลจะรันเต็มความเร็วได้ก็ต่อเมื่อใส่ในหน่วยความจำของการ์ดเองได้ คือ VRAM: 32 GB บน RTX 5090 (NVIDIA) เลเยอร์ที่ใส่ไม่ได้รันจาก RAM ของระบบแทนได้ แต่หน่วยความจำนั้นอ่านช้ากว่ามาก โมเดลจึงช้าลงมาก

Mac ไม่มี VRAM แยก: GPU อ่านหน่วยความจำแบบรวมเดียวกับ CPU นี่คือเหตุผลที่ Mac 64 GB หรือ 128 GB จุโมเดลที่การ์ดจอสำหรับผู้ใช้ทั่วไปใบเดียวจุไม่ได้ ตอนนี้มีพีซีบางรุ่นที่ทำงานแบบเดียวกัน เช่น DGX Spark ของ NVIDIA และเครื่อง Ryzen AI Max ของ AMD ที่มี 128 GB ใช้ร่วมกันระหว่าง CPU และ GPU: ดู M5 Max vs DGX Spark และ M5 Max vs RTX 5090

6โมเดลแบบ mixture-of-experts

โมเดลแบบ mixture-of-experts เก็บพารามิเตอร์ทั้งหมดไว้ในหน่วยความจำ แต่ใช้แค่บางส่วนสำหรับแต่ละโทเค็น หน่วยความจำตามจำนวนทั้งหมด ความเร็วตามส่วนที่ใช้งาน gpt-oss-20b มี 21 พันล้านพารามิเตอร์ ใช้งานจริง 3.6 พันล้าน (OpenAI): ต้องใช้หน่วยความจำเท่าโมเดล 21B และเขียนได้เร็วพอ ๆ กับโมเดล 4B

โมเดลแบบ mixture-of-experts จึงเหมาะกับ Mac ซึ่งมีหน่วยความจำมากเมื่อเทียบกับแบนด์วิดท์ หากเทียบกับการ์ดจอ หน้า Compare แสดงตัวเลขทั้งสองของโมเดลยอดนิยมทุกตัว

7คำถาม

รันโมเดล 70B ต้องใช้แรมเท่าไร?

ราว 39 GB สำหรับค่าน้ำหนักที่ 4 บิต บวกคอนเท็กซ์: ในทางปฏิบัติคือ Mac ที่มี 64 GB ขึ้นไป หรือการ์ดจอหลายใบ ที่ 8 บิตต้องใช้ราว 74 GB จึงต้องมี 128 GB

แรม 16 GB พอสำหรับรัน LLM ไหม?

พอ สำหรับโมเดลถึงราว 14B พารามิเตอร์ที่ 4 บิต: Mac 16 GB ให้ GPU ใช้ได้ราว 12 GB โดยค่าเริ่มต้น โมเดล 8B รันได้สบายและยังเหลือที่สำหรับคอนเท็กซ์ ดู LLM ที่ดีที่สุดสำหรับ Mac 16 GB

โมเดล 8B ต้องใช้ VRAM เท่าไร?

ราว 4.5 GB ที่ 4 บิต 8.5 GB ที่ 8 บิต และ 16 GB ที่ 16 บิต บวกราว 1.2 GB สำหรับคอนเท็กซ์ 8,000 โทเค็นในกรณีของ Qwen3 8B

ความยาวคอนเท็กซ์ใช้หน่วยความจำไหม?

ใช้ KV cache โตขึ้นทุกโทเค็นในบทสนทนา สำหรับ Qwen3 8B คือราว 147 KB ต่อโทเค็นที่ 16 บิต: ราว 4.8 GB ที่ 32,000 โทเค็น

รันโมเดลที่ใหญ่กว่าแรมได้ไหม?

ไม่ได้ในทางปฏิบัติ ถ้าค่าน้ำหนักใส่ไม่พอ ระบบจะสลับไปใช้ swap หรืออ่านจากหน่วยความจำที่ช้ากว่า และการสร้างข้อความจะช้ามาก ใช้ความละเอียดที่ต่ำลง โมเดลที่เล็กลง หรือโมเดลแบบ mixture-of-experts หรือกระจายไปหลายเครื่อง: ดูคลัสเตอร์ AI ด้วย Mac