หน่วยความจำในแต่ละความแม่นยำ
| เวอร์ชัน | ค่าน้ำหนัก | รวมบริบท | Mac ขั้นต่ำ |
|---|---|---|---|
| 8 บิต | 42.3 GB | 45.7 GB | 64 GB |
| 6 บิต | 32.3 GB | 34.9 GB | 48 GB |
| 4 บิต | 22.4 GB | 24.2 GB | 36 GB |
| 3 บิต คุณภาพต่ำลง | 17.4 GB | 18.9 GB | 32 GB |
| 2 บิต คุณภาพต่ำลง | 12.4 GB | 13.9 GB | 24 GB |
บนชิป Apple ทุกรุ่น
ขนาดหน่วยความจำเล็กที่สุดของแต่ละชิปที่รัน Recursive Flint ได้ เวอร์ชันที่ดีที่สุดที่ใส่ได้ และความเร็วในการเขียนที่คาดได้
| ชิป | ต้องใช้ | เวอร์ชัน | โทเค็น/วินาที |
|---|---|---|---|
| M6 | 24 GB | 2 บิต รันได้ดี | 96–170 |
| M5 Ultra | 96 GB | 8 บิต รันได้ดี | 200–356 |
| M5 Max | 36 GB | 4 บิต รันได้ดี | 148–263 |
| M5 Pro | 48 GB | 6 บิต รันได้ดี | 69–123 |
| M5 | 24 GB | 2 บิต รันได้ดี | 86–153 |
| M4 Max | 36 GB | 4 บิต รันได้ดี | 132–234 |
| M4 Pro | 48 GB | 6 บิต รันได้ดี | 61–109 |
| M4 | 24 GB | 2 บิต รันได้ดี | 68–120 |
| M3 Ultra | 96 GB | 8 บิต รันได้ดี | 137–243 |
| M3 Max | 36 GB | 4 บิต รันได้ดี | 96–171 |
| M3 Pro | 36 GB | 4 บิต รันได้ดี | 48–86 |
| M3 | 24 GB | 2 บิต รันได้ดี | 56–100 |
| M2 Ultra | 64 GB | 8 บิต รันได้ดี | 133–237 |
| M2 Max | 64 GB | 8 บิต รันได้ดี | 67–119 |
| M2 Pro | 32 GB | 3 บิต รันได้ดี | 82–145 |
| M2 | 24 GB | 2 บิต รันได้ดี | 56–100 |
| M1 Ultra | 64 GB | 8 บิต รันได้ดี | 133–237 |
| M1 Max | 64 GB | 8 บิต รันได้ดี | 67–119 |
| M1 Pro | 32 GB | 3 บิต รันได้ดี | 82–145 |
| M1 | 16 GB | 2 บิต พอดีเป๊ะ | 38–68 |
ผลวัดจากผู้อื่น
ความเร็วการสร้างข้อความของ Recursive Flint ที่ผู้อื่นวัดบน Mac ของตัวเองและโพสต์ต่อสาธารณะ เป็นผลวัดของบุคคลที่สาม ไม่ใช่ของเรา และไม่ใช่ค่าประมาณด้านบน
| Mac | รันไทม์ | ความแม่นยำ | ถอดรหัส tok/s | แหล่งที่มา |
|---|---|---|---|---|
| Mac Studio M3 Ultra | Ollama (MLX engine) | INT4 (QAT) | 107 | Alec Kloss @aleckloss |
| Mac Studio M3 Ultra | mlx-lm (PR #1998) | INT4 (QAT) | 104.5 | Alec Kloss @aleckloss |
| Mac Studio M3 Ultra | mlx-vlm | BF16 | 51.3ที่บริบท 1K | Prince Canuma @Prince_Canuma |
| Mac Studio M3 Ultra | mlx-vlm | BF16 | 33ที่บริบท 128K | Prince Canuma @Prince_Canuma |
| Mac mini M5 Pro 64 GB | Ollama | 4-bit | 115 | Pratik Gandhi @pratikg |
| Mac mini M5 Pro 64 GB | Ollama | 4-bit | 87ที่บริบท 20K | Pratik Gandhi @pratikg |
ผลลัพธ์แตกต่างกันตามรันไทม์และการตั้งค่า: เวอร์ชัน ความแม่นยำ ความยาวบริบท พรอมต์ และการเปิดหรือปิดการให้เหตุผล ล้วนทำให้ความเร็วเปลี่ยน
วิธีรัน
- ในเทอร์มินัล ด้วย Rec เอนจินของผู้พัฒนาเอง:
curl -fsSL https://raw.githubusercontent.com/recursive-oss/rec/main/install.sh | bashrec launch piต้องมี: M4 Pro, M5 Pro or M5 Max · at least 48 GB unified memory · about 30 GB free disk · Node.js 22 and npm (for pi)บิลด์: RecursiveSI/flint-int4 บน Hugging Face ความแม่นยำอื่นๆ อยู่ถัดไป
ทีละขั้นตอน: ดาวน์โหลดและรัน LLM บน Mac · วิธีใช้ MLX Harness · MLX vs Ollama vs llama.cpp
เกี่ยวกับ Recursive Flint
| ผู้พัฒนา | Recursive |
|---|---|
| พารามิเตอร์ | ทั้งหมด 39.8B · ใช้งาน 2.5B (mixture-of-experts) |
| บริบท | 256K โทเค็น |
| สัญญาอนุญาต | Apache-2.0 |
| เปิดตัว | 2026-10 |
| อินพุต | ข้อความ |
| ค่าน้ำหนัก | RecursiveSI/flint |
คำถาม
- Recursive Flint ต้องใช้หน่วยความจำเท่าไร
- ค่าน้ำหนักราว 22.4 GB ที่ 4 บิต บวกที่สำหรับบริบท รวมทั้งหมด 24.2 GB บน Mac หมายถึงต้องมีหน่วยความจำแบบรวม 36 GB ขึ้นไป เพราะโดยค่าเริ่มต้น macOS ให้ GPU ใช้ได้ราว 75% Rec เอนจินของ Recursive เอง ต้องใช้ M4 Pro, M5 Pro หรือ M5 Max ที่มีหน่วยความจำรวมอย่างน้อย 48 GB (ข้อกำหนดของผู้พัฒนา)
- Recursive Flint เร็วแค่ไหนบน Mac
- ความเร็วในการเขียนขึ้นอยู่กับแบนด์วิดท์หน่วยความจำ Mac ที่เร็วที่สุดสำหรับโมเดลนี้คือ M5 Ultra ที่มี 96 GB ได้ราว 200–356 โทเค็นต่อวินาที (8 บิต) ส่วน Mac ขั้นต่ำที่รันได้ คือ M5 Max ที่มี 36 GB ได้ราว 148–263
- ทำไม Recursive Flint จึงรันได้เร็วกว่าขนาดของมัน
- เพราะเป็นโมเดลแบบ mixture-of-experts ซึ่งเก็บพารามิเตอร์ 39.8B ไว้ในหน่วยความจำ แต่อ่านเพียง 2.5B ต่อโทเค็น จึงเขียนได้เร็วเท่าโมเดลที่เล็กกว่ามาก
โมเดลที่คล้ายกัน
สำหรับการ์ดโมเดลหรือ README ของคุณ
แสดง Mac ขั้นต่ำที่รัน Recursive Flint ได้ดี และลิงก์มาที่หน้านี้
[](https://mlx.app/run/flint)วิธีคำนวณ
หน่วยความจำ: พารามิเตอร์ของโมเดลที่ 8, 6, 4, 3 หรือ 2 บิตต่อค่าน้ำหนัก บวกสเกลแบบกลุ่มของ MLX (ครึ่งบิตต่อค่าน้ำหนัก) หรือตามรูปแบบเนทีฟของโมเดล แล้วเผื่อที่สำหรับบริบท โดยค่าเริ่มต้น macOS ให้ GPU ใช้หน่วยความจำแบบรวมได้ราว 75% ความเร็ว: แบนด์วิดท์หน่วยความจำหารด้วยจำนวนไบต์ที่อ่านต่อโทเค็น คือเพดานสำหรับหนึ่งบทสนทนา ในผลทดสอบ Apple Silicon แบบสาธารณะของ llama.cpp การรันจริงทำได้ราว 45% ถึง 80% ของเพดานนี้ ซึ่งเป็นช่วงที่แสดงไว้ ตัวเลขเหล่านี้เป็นค่าประมาณ ไม่ใช่ค่าที่วัดจริง วัด Mac ของคุณเองได้ที่ MLX Bench ตัวเลขโมเดลมาจากการ์ดโมเดลทางการของแต่ละโมเดล ตัวเลขชิปมาจากข้อมูลจำเพาะทางเทคนิคของ Apple ตรวจสอบเมื่อ 2026-10-19 ใช้ข้อมูลเดียวกับ mlx.app/compare
ข้อมูลเปิด: mlx.app/data (JSON, CSV)