เข้าสู่ระบบสร้างวอลเล็ต

Mac รัน Llama 3.3 70B Instruct ได้ไหม

ได้ หากมีหน่วยความจำแบบรวม 64 GB ขึ้นไป Llama 3.3 70B Instruct มีพารามิเตอร์ 70B ด้านล่างคือหน่วยความจำที่ต้องใช้ในแต่ละความแม่นยำ และความเร็วที่ชิป Apple แต่ละรุ่นรันได้

หน่วยความจำที่ 4 บิต42.6 GBค่าน้ำหนัก 39.4 GB + บริบท
Mac ขั้นต่ำ64 GB4 บิต · 39 ตัวเลือก Mac
Mac ที่เร็วที่สุด14–24โทเค็น/วินาที · M5 Ultra 96 GB (ค่าประมาณ)

หน่วยความจำในแต่ละความแม่นยำ

เวอร์ชันค่าน้ำหนักรวมบริบทMac ขั้นต่ำ
8 บิต74.4 GB80.4 GB128 GB
6 บิต56.9 GB61.5 GB96 GB
4 บิต39.4 GB42.6 GB64 GB
3 บิต คุณภาพต่ำลง30.6 GB33 GB48 GB
2 บิต คุณภาพต่ำลง21.9 GB23.7 GB32 GB

บนชิป Apple ทุกรุ่น

ขนาดหน่วยความจำเล็กที่สุดของแต่ละชิปที่รัน Llama 3.3 70B Instruct ได้ เวอร์ชันที่ดีที่สุดที่ใส่ได้ และความเร็วในการเขียนที่คาดได้

ชิปต้องใช้เวอร์ชันโทเค็น/วินาที
M632 GB2 บิต ช้า3–6
M5 Ultra96 GB4 บิต รันได้ดี14–24
M5 Max64 GB4 บิต ช้า7–12
M5 Pro64 GB4 บิต ช้า4–6
M532 GB2 บิต ช้า3–6
M4 Max64 GB4 บิต ช้า6–11
M4 Pro64 GB4 บิต ช้า3–6
M432 GB2 บิต ช้า2–4
M3 Ultra96 GB6 บิต ช้า6–12
M3 Max64 GB4 บิต ช้า5–8
M3 Pro36 GB2 บิต ช้า3–5
M3ไม่มีขนาดที่ใส่ได้ใหญ่เกินไป–
M2 Ultra64 GB4 บิต ช้า9–16
M2 Max64 GB4 บิต ช้า5–8
M2 Pro32 GB2 บิต ช้า4–7
M2ไม่มีขนาดที่ใส่ได้ใหญ่เกินไป–
M1 Ultra64 GB4 บิต ช้า9–16
M1 Max64 GB4 บิต ช้า5–8
M1 Pro32 GB2 บิต ช้า4–7
M1ไม่มีขนาดที่ใส่ได้ใหญ่เกินไป–

วิธีรัน

  1. วิธีที่ง่ายที่สุด: ดาวน์โหลด MLX Harness ฟรีและโอเพนซอร์ส ค้นหา Llama 3.3 70B Instruct ดาวน์โหลดเวอร์ชันที่เหมาะกับ Mac ของคุณ แล้วเริ่มแชตได้เลย แอปยังให้บริการโมเดลแก่แอปอื่นๆ ของคุณผ่าน API ที่เข้ากันได้กับ OpenAI ด้วยดาวน์โหลด MLX Harnessฟรี · Apple Silicon · macOS 14.5 ขึ้นไป
  2. ในเทอร์มินัล ด้วย MLX ของ Apple:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-3.3-70B-Instruct-4bitบิลด์: mlx-community/Llama-3.3-70B-Instruct-4bit บน Hugging Face ความแม่นยำอื่นๆ อยู่ถัดไป

ทีละขั้นตอน: ดาวน์โหลดและรัน LLM บน Mac · วิธีใช้ MLX Harness · MLX vs Ollama vs llama.cpp

เกี่ยวกับ Llama 3.3 70B Instruct

ผู้พัฒนาMeta
พารามิเตอร์70B (dense)
บริบท128K โทเค็น
สัญญาอนุญาตLlama 3.3 Community License
เปิดตัว2024-12
อินพุตข้อความ
ค่าน้ำหนักmeta-llama/Llama-3.3-70B-Instruct

คำถาม

Llama 3.3 70B Instruct ต้องใช้หน่วยความจำเท่าไร
ค่าน้ำหนักราว 39.4 GB ที่ 4 บิต บวกที่สำหรับบริบท รวมทั้งหมด 42.6 GB บน Mac หมายถึงต้องมีหน่วยความจำแบบรวม 64 GB ขึ้นไป เพราะโดยค่าเริ่มต้น macOS ให้ GPU ใช้ได้ราว 75%
Llama 3.3 70B Instruct เร็วแค่ไหนบน Mac
ความเร็วในการเขียนขึ้นอยู่กับแบนด์วิดท์หน่วยความจำ Mac ที่เร็วที่สุดสำหรับโมเดลนี้คือ M5 Ultra ที่มี 96 GB ได้ราว 14–24 โทเค็นต่อวินาที (4 บิต) ส่วน Mac ขั้นต่ำที่รันได้ คือ M2 Ultra ที่มี 64 GB ได้ราว 9–16
การควอนไทซ์ทำให้ Llama 3.3 70B Instruct แย่ลงไหม
ที่ 4 บิต โมเดลส่วนใหญ่ยังมีคุณภาพใกล้เคียงต้นฉบับ ต่ำกว่า 4 บิตคุณภาพจะลดลงเร็วขึ้น เลือกความแม่นยำสูงสุดที่ใส่ใน Mac ของคุณได้โดยยังมีที่เหลือ

โมเดลที่คล้ายกัน

ทุกโมเดล · Mac ทุกรุ่น · เปรียบเทียบ Mac ของคุณ

สำหรับการ์ดโมเดลหรือ README ของคุณ

Runs on a Mac: Llama 3.3 70B Instruct แสดง Mac ขั้นต่ำที่รัน Llama 3.3 70B Instruct ได้ดี และลิงก์มาที่หน้านี้

[![Runs on a Mac](https://mlx.app/badge/run/llama-3.3-70b.svg)](https://mlx.app/run/llama-3.3-70b)

วิธีคำนวณ

หน่วยความจำ: พารามิเตอร์ของโมเดลที่ 8, 6, 4, 3 หรือ 2 บิตต่อค่าน้ำหนัก บวกสเกลแบบกลุ่มของ MLX (ครึ่งบิตต่อค่าน้ำหนัก) หรือตามรูปแบบเนทีฟของโมเดล แล้วเผื่อที่สำหรับบริบท โดยค่าเริ่มต้น macOS ให้ GPU ใช้หน่วยความจำแบบรวมได้ราว 75% ความเร็ว: แบนด์วิดท์หน่วยความจำหารด้วยจำนวนไบต์ที่อ่านต่อโทเค็น คือเพดานสำหรับหนึ่งบทสนทนา ในผลทดสอบ Apple Silicon แบบสาธารณะของ llama.cpp การรันจริงทำได้ราว 45% ถึง 80% ของเพดานนี้ ซึ่งเป็นช่วงที่แสดงไว้ ตัวเลขเหล่านี้เป็นค่าประมาณ ไม่ใช่ค่าที่วัดจริง วัด Mac ของคุณเองได้ที่ MLX Bench ตัวเลขโมเดลมาจากการ์ดโมเดลทางการของแต่ละโมเดล ตัวเลขชิปมาจากข้อมูลจำเพาะทางเทคนิคของ Apple ตรวจสอบเมื่อ 2026-10-19 ใช้ข้อมูลเดียวกับ mlx.app/compare

Mac รัน Llama 3.3 70B Instruct ได้ไหม หน่วยความจำและความเร็ว