เข้าสู่ระบบสร้างวอลเล็ต

Mac รัน Inkling Small ได้ไหม

ได้ หากมีหน่วยความจำแบบรวม 256 GB ขึ้นไป Inkling Small มีพารามิเตอร์ 276B โดยใช้งานจริง 12B ต่อโทเค็น ด้านล่างคือหน่วยความจำที่ต้องใช้ในแต่ละความแม่นยำ และความเร็วที่ชิป Apple แต่ละรุ่นรันได้

หน่วยความจำที่ 4 บิต168 GBค่าน้ำหนัก 155 GB + บริบท
Mac ขั้นต่ำ256 GB4 บิต · 10 ตัวเลือก Mac
Mac ที่เร็วที่สุด79–141โทเค็น/วินาที · M5 Ultra 256 GB (ค่าประมาณ)

หน่วยความจำในแต่ละความแม่นยำ

เวอร์ชันค่าน้ำหนักรวมบริบทMac ขั้นต่ำ
8 บิต293 GB317 GB512 GB
6 บิต224 GB242 GB512 GB
4 บิต155 GB168 GB256 GB
3 บิต คุณภาพต่ำลง121 GB131 GB192 GB
2 บิต คุณภาพต่ำลง86.3 GB93.2 GB128 GB

บนชิป Apple ทุกรุ่น

ขนาดหน่วยความจำเล็กที่สุดของแต่ละชิปที่รัน Inkling Small ได้ เวอร์ชันที่ดีที่สุดที่ใส่ได้ และความเร็วในการเขียนที่คาดได้

ชิปต้องใช้เวอร์ชันโทเค็น/วินาที
M6ไม่มีขนาดที่ใส่ได้ใหญ่เกินไป–
M5 Ultra256 GB4 บิต รันได้ดี79–141
M5 Max128 GB2 บิต รันได้ดี73–129
M5 Proไม่มีขนาดที่ใส่ได้ใหญ่เกินไป–
M5ไม่มีขนาดที่ใส่ได้ใหญ่เกินไป–
M4 Max128 GB2 บิต รันได้ดี65–115
M4 Proไม่มีขนาดที่ใส่ได้ใหญ่เกินไป–
M4ไม่มีขนาดที่ใส่ได้ใหญ่เกินไป–
M3 Ultra256 GB4 บิต รันได้ดี54–96
M3 Max128 GB2 บิต รันได้ดี47–84
M3 Proไม่มีขนาดที่ใส่ได้ใหญ่เกินไป–
M3ไม่มีขนาดที่ใส่ได้ใหญ่เกินไป–
M2 Ultra128 GB2 บิต รันได้ดี95–168
M2 Maxไม่มีขนาดที่ใส่ได้ใหญ่เกินไป–
M2 Proไม่มีขนาดที่ใส่ได้ใหญ่เกินไป–
M2ไม่มีขนาดที่ใส่ได้ใหญ่เกินไป–
M1 Ultra128 GB2 บิต รันได้ดี95–168
M1 Maxไม่มีขนาดที่ใส่ได้ใหญ่เกินไป–
M1 Proไม่มีขนาดที่ใส่ได้ใหญ่เกินไป–
M1ไม่มีขนาดที่ใส่ได้ใหญ่เกินไป–

วิธีรัน

  1. วิธีที่ง่ายที่สุด: ดาวน์โหลด MLX Harness ฟรีและโอเพนซอร์ส ค้นหา Inkling Small ดาวน์โหลดเวอร์ชันที่เหมาะกับ Mac ของคุณ แล้วเริ่มแชตได้เลย แอปยังให้บริการโมเดลแก่แอปอื่นๆ ของคุณผ่าน API ที่เข้ากันได้กับ OpenAI ด้วยดาวน์โหลด MLX Harnessฟรี · Apple Silicon · macOS 14.5 ขึ้นไป
  2. ในเทอร์มินัล ด้วย MLX ของ Apple:pip install mlx-lmmlx_lm.chat --model mlx-community/Inkling-Small-mlx-4bitบิลด์: mlx-community/Inkling-Small-mlx-4bit บน Hugging Face ความแม่นยำอื่นๆ อยู่ถัดไป

ทีละขั้นตอน: ดาวน์โหลดและรัน LLM บน Mac · วิธีใช้ MLX Harness · MLX vs Ollama vs llama.cpp

เกี่ยวกับ Inkling Small

ผู้พัฒนาThinking Machines Lab
พารามิเตอร์ทั้งหมด 276B · ใช้งาน 12B (mixture-of-experts)
สัญญาอนุญาตApache-2.0
เปิดตัว2026-07
อินพุตข้อความและรูปภาพ
ความฉลาด25.7 บน Artificial Analysis Intelligence Index
ค่าน้ำหนักthinkingmachines/Inkling-Small

คำถาม

Inkling Small ต้องใช้หน่วยความจำเท่าไร
ค่าน้ำหนักราว 155 GB ที่ 4 บิต บวกที่สำหรับบริบท รวมทั้งหมด 168 GB บน Mac หมายถึงต้องมีหน่วยความจำแบบรวม 256 GB ขึ้นไป เพราะโดยค่าเริ่มต้น macOS ให้ GPU ใช้ได้ราว 75%
Inkling Small เร็วแค่ไหนบน Mac
ความเร็วในการเขียนขึ้นอยู่กับแบนด์วิดท์หน่วยความจำ Mac ที่เร็วที่สุดสำหรับโมเดลนี้คือ M5 Ultra ที่มี 256 GB ได้ราว 79–141 โทเค็นต่อวินาที (4 บิต) ส่วน Mac ขั้นต่ำที่รันได้ คือ M5 Ultra ที่มี 256 GB ได้ราว 79–141
ทำไม Inkling Small จึงรันได้เร็วกว่าขนาดของมัน
เพราะเป็นโมเดลแบบ mixture-of-experts ซึ่งเก็บพารามิเตอร์ 276B ไว้ในหน่วยความจำ แต่อ่านเพียง 12B ต่อโทเค็น จึงเขียนได้เร็วเท่าโมเดลที่เล็กกว่ามาก

โมเดลที่คล้ายกัน

ทุกโมเดล · Mac ทุกรุ่น · เปรียบเทียบ Mac ของคุณ

สำหรับการ์ดโมเดลหรือ README ของคุณ

Runs on a Mac: Inkling Small แสดง Mac ขั้นต่ำที่รัน Inkling Small ได้ดี และลิงก์มาที่หน้านี้

[![Runs on a Mac](https://mlx.app/badge/run/inkling-small.svg)](https://mlx.app/run/inkling-small)

วิธีคำนวณ

หน่วยความจำ: พารามิเตอร์ของโมเดลที่ 8, 6, 4, 3 หรือ 2 บิตต่อค่าน้ำหนัก บวกสเกลแบบกลุ่มของ MLX (ครึ่งบิตต่อค่าน้ำหนัก) หรือตามรูปแบบเนทีฟของโมเดล แล้วเผื่อที่สำหรับบริบท โดยค่าเริ่มต้น macOS ให้ GPU ใช้หน่วยความจำแบบรวมได้ราว 75% ความเร็ว: แบนด์วิดท์หน่วยความจำหารด้วยจำนวนไบต์ที่อ่านต่อโทเค็น คือเพดานสำหรับหนึ่งบทสนทนา ในผลทดสอบ Apple Silicon แบบสาธารณะของ llama.cpp การรันจริงทำได้ราว 45% ถึง 80% ของเพดานนี้ ซึ่งเป็นช่วงที่แสดงไว้ ตัวเลขเหล่านี้เป็นค่าประมาณ ไม่ใช่ค่าที่วัดจริง วัด Mac ของคุณเองได้ที่ MLX Bench ตัวเลขโมเดลมาจากการ์ดโมเดลทางการของแต่ละโมเดล ตัวเลขชิปมาจากข้อมูลจำเพาะทางเทคนิคของ Apple ตรวจสอบเมื่อ 2026-10-19 ใช้ข้อมูลเดียวกับ mlx.app/compare

Mac รัน Inkling Small ได้ไหม หน่วยความจำและความเร็ว