Memory sa bawat precision
| Bersyon | Weights | Kasama ang context | Pinakamaliit na Mac |
|---|---|---|---|
| 8-bit | 42.3 GB | 45.7 GB | 64 GB |
| 6-bit | 32.3 GB | 34.9 GB | 48 GB |
| 4-bit | 22.4 GB | 24.2 GB | 36 GB |
| 3-bit mas mababang kalidad | 17.4 GB | 18.9 GB | 32 GB |
| 2-bit mas mababang kalidad | 12.4 GB | 13.9 GB | 24 GB |
Sa bawat Apple chip
Ang pinakamaliit na memory size ng bawat chip na kaya ang Recursive Flint, ang pinakamagandang bersyong kasya rito, at ang bilis ng pagsusulat na maaasahan mo.
| Chip | Kailangan | Bersyon | Token/s |
|---|---|---|---|
| M6 | 24 GB | 2-bit Maayos | 96–170 |
| M5 Ultra | 96 GB | 8-bit Maayos | 200–356 |
| M5 Max | 36 GB | 4-bit Maayos | 148–263 |
| M5 Pro | 48 GB | 6-bit Maayos | 69–123 |
| M5 | 24 GB | 2-bit Maayos | 86–153 |
| M4 Max | 36 GB | 4-bit Maayos | 132–234 |
| M4 Pro | 48 GB | 6-bit Maayos | 61–109 |
| M4 | 24 GB | 2-bit Maayos | 68–120 |
| M3 Ultra | 96 GB | 8-bit Maayos | 137–243 |
| M3 Max | 36 GB | 4-bit Maayos | 96–171 |
| M3 Pro | 36 GB | 4-bit Maayos | 48–86 |
| M3 | 24 GB | 2-bit Maayos | 56–100 |
| M2 Ultra | 64 GB | 8-bit Maayos | 133–237 |
| M2 Max | 64 GB | 8-bit Maayos | 67–119 |
| M2 Pro | 32 GB | 3-bit Maayos | 82–145 |
| M2 | 24 GB | 2-bit Maayos | 56–100 |
| M1 Ultra | 64 GB | 8-bit Maayos | 133–237 |
| M1 Max | 64 GB | 8-bit Maayos | 67–119 |
| M1 Pro | 32 GB | 3-bit Maayos | 82–145 |
| M1 | 16 GB | 2-bit Halos hindi kasya | 38–68 |
Sinukat ng iba
Mga bilis ng pag-generate ng Recursive Flint na sinukat ng ibang tao sa sarili nilang Mac at ipinost nang publiko. Mga sukat ito ng third party, hindi sa amin, at hindi ito ang mga tantiya sa itaas.
| Mac | Runtime | Precision | Decode tok/s | Pinagmulan |
|---|---|---|---|---|
| Mac Studio M3 Ultra | Ollama (MLX engine) | INT4 (QAT) | 107 | Alec Kloss @aleckloss |
| Mac Studio M3 Ultra | mlx-lm (PR #1998) | INT4 (QAT) | 104.5 | Alec Kloss @aleckloss |
| Mac Studio M3 Ultra | mlx-vlm | BF16 | 51.3sa 1K na context | Prince Canuma @Prince_Canuma |
| Mac Studio M3 Ultra | mlx-vlm | BF16 | 33sa 128K na context | Prince Canuma @Prince_Canuma |
| Mac mini M5 Pro 64 GB | Ollama | 4-bit | 115 | Pratik Gandhi @pratikg |
| Mac mini M5 Pro 64 GB | Ollama | 4-bit | 87sa 20K na context | Pratik Gandhi @pratikg |
Nag-iiba ang resulta ayon sa runtime at settings: ang bersyon, precision, haba ng context, prompt at kung naka-on o off ang reasoning ay lahat nagpapabago ng bilis.
Paano ito patakbuhin
- Sa Terminal gamit ang Rec, ang sariling engine ng gumawa:
curl -fsSL https://raw.githubusercontent.com/recursive-oss/rec/main/install.sh | bashrec launch piKailangan: M4 Pro, M5 Pro or M5 Max · at least 48 GB unified memory · about 30 GB free disk · Node.js 22 and npm (for pi)Build: RecursiveSI/flint-int4 sa Hugging Face. Katabi nito ang ibang precision.
Hakbang-hakbang: mag-download at magpatakbo ng LLM sa Mac · paano gamitin ang MLX Harness · MLX vs Ollama vs llama.cpp
Tungkol sa Recursive Flint
| Gawa ng | Recursive |
|---|---|
| Mga parameter | 39.8B kabuuan · 2.5B aktibo (mixture of experts) |
| Context | 256K token |
| Lisensya | Apache-2.0 |
| Inilabas | 2026-10 |
| Input | Text |
| Weights | RecursiveSI/flint |
Mga tanong
- Gaano karaming memory ang kailangan ng Recursive Flint?
- Mga 22.4 GB ng weights sa 4-bit, dagdag ang espasyo para sa context: 24.2 GB lahat-lahat. Sa Mac, ibig sabihin nito ay 36 GB na unified memory o higit pa, dahil bilang default, mga 75% nito ang ipinapagamit ng macOS sa GPU. Ang sariling engine ng Recursive, ang Rec, ay nangangailangan ng M4 Pro, M5 Pro, o M5 Max na may hindi bababa sa 48 GB na unified memory (kinakailangan ng gumawa).
- Gaano kabilis ang Recursive Flint sa Mac?
- Nakadepende sa memory bandwidth ang bilis ng pagsusulat. Ang pinakamabilis na Mac para dito ay M5 Ultra na may 96 GB, sa mga 200–356 token bawat segundo (8-bit). Ang pinakamaliit na Mac na kaya ito, na may 36 GB, ay umaabot sa mga 148–263 sa M5 Max.
- Bakit mas mabilis ang Recursive Flint kaysa sa inaasahan sa laki nito?
- Isa itong mixture-of-experts na model: may 39.8B na parameter ito sa memory pero 2.5B lang ang binabasa nito sa bawat token, kaya nagsusulat ito sa bilis ng mas maliit na model.
Mga katulad na model
Para sa model card o README mo
Ipinapakita ang pinakamaliit na Mac na maayos na nagpapatakbo ng Recursive Flint at nagli-link dito.
[](https://mlx.app/run/flint)Paano ito kinuwenta
Memory: ang mga parameter ng model sa 8, 6, 4, 3 o 2 bit kada weight dagdag ang group scales ng MLX (kalahating bit kada weight), o ang native format nito, at may espasyo pa para sa context. Bilang default, mga 75% ng unified memory ang ipinapagamit ng macOS sa GPU. Bilis: ang memory bandwidth na hinati sa mga byte na binabasa kada token ang pinakamataas na posible para sa isang usapan; sa mga pampublikong benchmark ng llama.cpp sa Apple Silicon, umaabot ang totoong takbo sa mga 45% hanggang 80% nito, at iyon ang range na ipinapakita. Mga tantiya ito, hindi sukat: sukatin ang sarili mong Mac sa MLX Bench. Ang mga numero ng model ay mula sa opisyal na model card ng bawat isa, at ang sa chip ay mula sa Tech Specs ng Apple. Sinuri noong 2026-10-19. Parehong data ng mlx.app/compare.
Open data: mlx.app/data (JSON, CSV)