Memori di setiap presisi
| Versi | Bobot | Dengan konteks | Mac terkecil |
|---|---|---|---|
| 8-bit | 42,3 GB | 45,7 GB | 64 GB |
| 6-bit | 32,3 GB | 34,9 GB | 48 GB |
| 4-bit | 22,4 GB | 24,2 GB | 36 GB |
| 3-bit kualitas lebih rendah | 17,4 GB | 18,9 GB | 32 GB |
| 2-bit kualitas lebih rendah | 12,4 GB | 13,9 GB | 24 GB |
Di setiap chip Apple
Ukuran memori terkecil setiap chip yang bisa menjalankan Recursive Flint, versi terbaik yang muat, dan kecepatan menulis yang bisa Anda harapkan.
| Chip | Butuh | Versi | Token/s |
|---|---|---|---|
| M6 | 24 GB | 2-bit Berjalan baik | 96–170 |
| M5 Ultra | 96 GB | 8-bit Berjalan baik | 200–356 |
| M5 Max | 36 GB | 4-bit Berjalan baik | 148–263 |
| M5 Pro | 48 GB | 6-bit Berjalan baik | 69–123 |
| M5 | 24 GB | 2-bit Berjalan baik | 86–153 |
| M4 Max | 36 GB | 4-bit Berjalan baik | 132–234 |
| M4 Pro | 48 GB | 6-bit Berjalan baik | 61–109 |
| M4 | 24 GB | 2-bit Berjalan baik | 68–120 |
| M3 Ultra | 96 GB | 8-bit Berjalan baik | 137–243 |
| M3 Max | 36 GB | 4-bit Berjalan baik | 96–171 |
| M3 Pro | 36 GB | 4-bit Berjalan baik | 48–86 |
| M3 | 24 GB | 2-bit Berjalan baik | 56–100 |
| M2 Ultra | 64 GB | 8-bit Berjalan baik | 133–237 |
| M2 Max | 64 GB | 8-bit Berjalan baik | 67–119 |
| M2 Pro | 32 GB | 3-bit Berjalan baik | 82–145 |
| M2 | 24 GB | 2-bit Berjalan baik | 56–100 |
| M1 Ultra | 64 GB | 8-bit Berjalan baik | 133–237 |
| M1 Max | 64 GB | 8-bit Berjalan baik | 67–119 |
| M1 Pro | 32 GB | 3-bit Berjalan baik | 82–145 |
| M1 | 16 GB | 2-bit Pas-pasan | 38–68 |
Diukur orang lain
Kecepatan generasi Recursive Flint yang diukur orang lain di Mac mereka sendiri dan diunggah secara publik. Ini pengukuran pihak ketiga, bukan milik kami, dan bukan estimasi di atas.
| Mac | Runtime | Presisi | Dekode tok/s | Sumber |
|---|---|---|---|---|
| Mac Studio M3 Ultra | Ollama (MLX engine) | INT4 (QAT) | 107 | Alec Kloss @aleckloss |
| Mac Studio M3 Ultra | mlx-lm (PR #1998) | INT4 (QAT) | 104,5 | Alec Kloss @aleckloss |
| Mac Studio M3 Ultra | mlx-vlm | BF16 | 51,3pada konteks 1K | Prince Canuma @Prince_Canuma |
| Mac Studio M3 Ultra | mlx-vlm | BF16 | 33pada konteks 128K | Prince Canuma @Prince_Canuma |
| Mac mini M5 Pro 64 GB | Ollama | 4-bit | 115 | Pratik Gandhi @pratikg |
| Mac mini M5 Pro 64 GB | Ollama | 4-bit | 87pada konteks 20K | Pratik Gandhi @pratikg |
Hasil berbeda menurut runtime dan pengaturan: versi, presisi, panjang konteks, prompt, serta penalaran aktif atau tidak semuanya mengubah kecepatan.
Cara menjalankannya
- Di Terminal dengan Rec, mesin buatan pembuatnya sendiri:
curl -fsSL https://raw.githubusercontent.com/recursive-oss/rec/main/install.sh | bashrec launch piKebutuhan: M4 Pro, M5 Pro or M5 Max · at least 48 GB unified memory · about 30 GB free disk · Node.js 22 and npm (for pi)Build: RecursiveSI/flint-int4 di Hugging Face. Presisi lain ada di sebelahnya.
Langkah demi langkah: unduh dan jalankan LLM di Mac · cara memakai MLX Harness · MLX vs Ollama vs llama.cpp
Tentang Recursive Flint
| Dibuat oleh | Recursive |
|---|---|
| Parameter | 39,8B total · 2,5B aktif (mixture of experts) |
| Konteks | 256K token |
| Lisensi | Apache-2.0 |
| Dirilis | 2026-10 |
| Input | Teks |
| Bobot | RecursiveSI/flint |
Pertanyaan
- Berapa memori yang dibutuhkan Recursive Flint?
- Sekitar 22,4 GB untuk bobot pada 4-bit, ditambah ruang untuk konteks: total 24,2 GB. Di Mac artinya memori terpadu 36 GB atau lebih, karena secara bawaan macOS mengizinkan GPU memakai sekitar 75% darinya. Mesin milik Recursive sendiri, Rec, butuh M4 Pro, M5 Pro, atau M5 Max dengan memori terpadu minimal 48 GB (syarat dari pembuatnya).
- Seberapa cepat Recursive Flint di Mac?
- Kecepatan menulis bergantung pada bandwidth memori. Mac tercepat untuknya di sini adalah M5 Ultra dengan 96 GB, sekitar 200–356 token per detik (8-bit). Mac terkecil yang bisa menjalankannya, dengan 36 GB, mencapai sekitar 148–263 pada M5 Max.
- Mengapa Recursive Flint berjalan lebih cepat daripada ukurannya?
- Ini model mixture-of-experts: ia menyimpan 39,8B parameter di memori tetapi hanya membaca 2,5B untuk setiap token, sehingga menulis secepat model yang jauh lebih kecil.
Model serupa
Untuk kartu model atau README Anda
Menampilkan Mac terkecil yang menjalankan Recursive Flint dengan baik dan menautkan ke sini.
[](https://mlx.app/run/flint)Cara menghitungnya
Memori: parameter model pada 8, 6, 4, 3, atau 2 bit per bobot ditambah skala grup MLX (setengah bit per bobot), atau format bawaannya, ditambah ruang untuk konteks. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% memori terpadu. Kecepatan: bandwidth memori dibagi jumlah byte yang dibaca per token adalah batas atas untuk satu percakapan; dalam benchmark Apple Silicon publik llama.cpp, proses nyata mencapai sekitar 45% hingga 80% darinya, dan rentang itulah yang ditampilkan. Ini perkiraan, bukan pengukuran: ukur Mac Anda sendiri di MLX Bench. Angka model dari kartu model resmi masing-masing, angka chip dari Spesifikasi Teknis Apple. Diperiksa 2026-10-19. Data sama dengan mlx.app/compare.
Data terbuka: mlx.app/data (JSON, CSV)