รัน LLM บน Mac ของคุณ

1Mac ของคุณรันโมเดลอะไรได้

ค่าน้ำหนักของโมเดลต้องใส่ในหน่วยความจำได้ โดยเหลือที่ว่างสำหรับคอนเท็กซ์และ macOS ที่ 4 บิตต่อค่าน้ำหนัก ให้เผื่อราว 0.55 ถึง 0.6 GB ต่อพารามิเตอร์หนึ่งพันล้าน

ความเร็วเป็นอีกเรื่อง: ทุกโทเค็นใหม่ต้องอ่านค่าน้ำหนักที่ใช้งานอยู่จากหน่วยความจำหนึ่งครั้ง จำนวนโทเค็นต่อวินาทีจึงเพิ่มตามแบนด์วิดท์หน่วยความจำ คู่มือMac ที่ดีที่สุดสำหรับรัน LLM บนเครื่องครอบคลุมทุกชิป

2วิธีง่าย: LM Studio

LM Studio เป็นแอป Mac ฟรีที่มีหน้าต่างแชตและตัวค้นหาโมเดล บน Apple Silicon รันได้ทั้งโมเดลในฟอร์แมต MLX ของ Apple และฟอร์แมต GGUF ที่ llama.cpp ใช้

1. ดาวน์โหลด LM Studio แล้วเปิดแอป
2. ค้นหาโมเดล เลือกเวอร์ชัน MLX หากใช้ Apple Silicon และเลือกขนาดที่พอดีกับหน่วยความจำ
3. โหลดโมเดลแล้วเริ่มแชตได้เลย คุณยังเปิดเซิร์ฟเวอร์ในเครื่องของแอปให้แอปอื่นใช้งานได้ด้วย

3คำสั่งเดียว: Ollama

Ollama รันโมเดลจากเทอร์มินัลและให้บริการโมเดลแก่แอปอื่นบน Mac หลังติดตั้ง คำสั่งเดียวก็ดาวน์โหลดและเริ่มโมเดลได้:

ollama run llama3.2

ตั้งแต่เวอร์ชัน 0.19 Ollama บน Apple Silicon มีพรีวิวที่ขับเคลื่อนด้วยเฟรมเวิร์ก MLX ของ Apple สำหรับโมเดลที่รองรับ ซึ่งเร็วขึ้นมาก พรีวิวนี้ต้องใช้ Mac ที่มีหน่วยความจำมากกว่า 32 GB (Ollama)

4วิธีที่เร็วที่สุด: MLX ของ Apple และ mlx-lm

MLX คือเฟรมเวิร์กแมชชีนเลิร์นนิงโอเพนซอร์สของ Apple สำหรับ Apple Silicon และ mlx-lm คือแพ็กเกจสำหรับโมเดลภาษา มีโมเดลพร้อมใช้หลายพันตัวจากองค์กร mlx-community บน Hugging Face

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

ใช้ mlx_lm.chat เพื่อแชตในเทอร์มินัล และ mlx_lm.server สำหรับ API ในเครื่องที่แอปอื่นเรียกใช้ได้ บนชิป M5 MLX ใช้ตัวเร่งนิวรัลใหม่ใน GPU: Apple วัดได้ว่าโทเค็นแรกมาถึงเร็วกว่าบน M4 3.3 ถึง 4.1 เท่า (Apple Machine Learning Research)

5วัดผล แล้วให้เครื่องทำงาน

MLX Bench คือลีดเดอร์บอร์ดแบบเปิดของความเร็ว MLX บนชิป Apple Silicon ทุกรุ่น: โทเค็นต่อวินาทีทั้งการสร้างข้อความและการอ่านพรอมต์ และหน่วยความจำสูงสุดที่ใช้ รันสคริปต์ไฟล์เดียวบน Mac ของคุณแล้วดูว่าอยู่อันดับไหน

เมื่อคุณไม่ได้ใช้ Mac ก็รัน AI ให้คนอื่นได้ MLX Node เป็นแอปฟรีที่รันงาน AI ให้ MLX Network บนเฟรมเวิร์ก MLX ตัวเดียวกัน และได้รับโทเค็น MLX สำหรับงานที่ผ่านการตรวจสอบ ภายในขีดจำกัดที่คุณตั้งไว้

6คำถาม

MacBook Air รัน LLM ได้ไหม

ได้ MacBook Air 16 GB รันโมเดล 7B ถึง 14B ที่ 4 บิตได้สบาย ถ้ามี 32 GB รันได้ถึงราว 30B แต่จะช้ากว่า Mac ที่ใช้ชิป Pro หรือ Max ซึ่งมีแบนด์วิดท์หน่วยความจำมากกว่า

MLX เร็วกว่า Ollama บน Mac ไหม

มักจะเร็วกว่า เพราะ MLX เขียนมาสำหรับ Apple Silicon พรีวิวที่ขับเคลื่อนด้วย MLX ของ Ollama เองก็รายงานว่าเร็วขึ้นมากบน Apple Silicon คู่มือ MLX กับ Ollama ของเราเปรียบเทียบไว้อย่างละเอียด

โมเดลบนเครื่องใช้แบบออฟไลน์ได้ไหม

ได้ เมื่อดาวน์โหลดแล้ว โมเดลจะรันบน Mac ของคุณทั้งหมด และพรอมต์ของคุณจะไม่ออกจากเครื่องเลย

โมเดล 70B ต้องใช้หน่วยความจำเท่าไร

ราว 40 GB สำหรับค่าน้ำหนักที่ 4 บิต จึงต้องใช้ Mac ที่มี 64 GB ขึ้นไป โมเดล mixture-of-experts ที่คุณภาพใกล้เคียงกันอาจต้องใช้หน่วยความจำมากกว่า แต่รันได้เร็วกว่า