Log masukCipta dompet

Bolehkah Mac menjalankan Recursive Flint?

Ya, dengan 36 GB memori bersatu atau lebih. Recursive Flint mempunyai 39.8B parameter, 2.5B daripadanya aktif bagi setiap token; berikut memori yang diperlukan pada setiap kepersisan dan sepantas mana setiap cip Apple menjalankannya. Enjin milik Recursive sendiri, Rec, memerlukan M4 Pro, M5 Pro, atau M5 Max dengan sekurang-kurangnya 48 GB memori bersatu (syarat pembuat). Angka memori dan kelajuan di halaman ini ialah anggaran untuk binaan MLX umum.

Dikemas kini

Memori pada 4-bit24.2 GBpemberat 22.4 GB + konteks
Mac terkecil36 GB4-bit, anggaran · Rec perlukan 48 GB
Mac terpantas200–356token/s · M5 Ultra 96 GB (anggaran)

Memori pada setiap kepersisan

VersiPemberatDengan konteksMac terkecil
8-bit42.3 GB45.7 GB64 GB
6-bit32.3 GB34.9 GB48 GB
4-bit22.4 GB24.2 GB36 GB
3-bit kualiti lebih rendah17.4 GB18.9 GB32 GB
2-bit kualiti lebih rendah12.4 GB13.9 GB24 GB

Pada setiap cip Apple

Saiz memori terkecil setiap cip yang menjalankan Recursive Flint, versi terbaik yang muat, dan kelajuan menulis yang boleh anda jangkakan.

CipPerluVersiToken/s
M624 GB2-bit Berjalan baik96–170
M5 Ultra96 GB8-bit Berjalan baik200–356
M5 Max36 GB4-bit Berjalan baik148–263
M5 Pro48 GB6-bit Berjalan baik69–123
M524 GB2-bit Berjalan baik86–153
M4 Max36 GB4-bit Berjalan baik132–234
M4 Pro48 GB6-bit Berjalan baik61–109
M424 GB2-bit Berjalan baik68–120
M3 Ultra96 GB8-bit Berjalan baik137–243
M3 Max36 GB4-bit Berjalan baik96–171
M3 Pro36 GB4-bit Berjalan baik48–86
M324 GB2-bit Berjalan baik56–100
M2 Ultra64 GB8-bit Berjalan baik133–237
M2 Max64 GB8-bit Berjalan baik67–119
M2 Pro32 GB3-bit Berjalan baik82–145
M224 GB2-bit Berjalan baik56–100
M1 Ultra64 GB8-bit Berjalan baik133–237
M1 Max64 GB8-bit Berjalan baik67–119
M1 Pro32 GB3-bit Berjalan baik82–145
M116 GB2-bit Cukup-cukup muat38–68

Diukur oleh orang lain

Kelajuan penjanaan Recursive Flint yang diukur oleh orang lain pada Mac mereka sendiri dan disiarkan secara terbuka. Ini ukuran pihak ketiga, bukan milik kami, dan bukan anggaran di atas.

MacRuntimeKetepatanNyahkod tok/sSumber
Mac Studio M3 UltraOllama (MLX engine)INT4 (QAT)107Alec Kloss @aleckloss
Mac Studio M3 Ultramlx-lm (PR #1998)INT4 (QAT)104.5Alec Kloss @aleckloss
Mac Studio M3 Ultramlx-vlmBF1651.3pada konteks 1KPrince Canuma @Prince_Canuma
Mac Studio M3 Ultramlx-vlmBF1633pada konteks 128KPrince Canuma @Prince_Canuma
Mac mini M5 Pro 64 GBOllama4-bit115Pratik Gandhi @pratikg
Mac mini M5 Pro 64 GBOllama4-bit87pada konteks 20KPratik Gandhi @pratikg

Keputusan berbeza mengikut runtime dan tetapan: versi, ketepatan, panjang konteks, prompt dan penaakulan hidup atau mati semuanya mengubah kelajuan.

Cara menjalankannya

  1. Dalam Terminal dengan Rec, enjin milik pembuatnya sendiri:curl -fsSL https://raw.githubusercontent.com/recursive-oss/rec/main/install.sh | bashrec launch piKeperluan: M4 Pro, M5 Pro or M5 Max · at least 48 GB unified memory · about 30 GB free disk · Node.js 22 and npm (for pi)Binaan: RecursiveSI/flint-int4 di Hugging Face. Kepersisan lain ada di sebelahnya.

Langkah demi langkah: muat turun dan jalankan LLM pada Mac · cara menggunakan MLX Harness · MLX vs Ollama vs llama.cpp

Tentang Recursive Flint

Dibuat olehRecursive
Parameter39.8B jumlah · 2.5B aktif (mixture of experts)
Konteks256K token
LesenApache-2.0
Dikeluarkan2026-10
InputTeks
PemberatRecursiveSI/flint

Soalan

Berapakah memori yang diperlukan oleh Recursive Flint?
Kira-kira 22.4 GB pemberat pada 4-bit, serta ruang untuk konteks: 24.2 GB kesemuanya. Pada Mac, ini bermakna 36 GB memori bersatu atau lebih, kerana secara lalai macOS membenarkan GPU menggunakan kira-kira 75% daripadanya. Enjin milik Recursive sendiri, Rec, memerlukan M4 Pro, M5 Pro, atau M5 Max dengan sekurang-kurangnya 48 GB memori bersatu (syarat pembuat).
Sepantas mana Recursive Flint pada Mac?
Kelajuan menulis bergantung pada lebar jalur memori. Mac terpantas untuknya di sini ialah M5 Ultra dengan 96 GB, kira-kira 200–356 token sesaat (8-bit). Mac terkecil yang menjalankannya, dengan 36 GB, mencapai kira-kira 148–263 pada M5 Max.
Mengapakah Recursive Flint berjalan lebih pantas daripada saiznya?
Ia model mixture-of-experts: ia menyimpan 39.8B parameter dalam memori tetapi hanya membaca 2.5B bagi setiap token, jadi ia menulis sepantas model yang jauh lebih kecil.

Model serupa

Semua model · Semua Mac · Bandingkan Mac anda

Untuk kad model atau README anda

Runs on a Mac: Recursive Flint Menunjukkan Mac terkecil yang menjalankan Recursive Flint dengan baik dan memaut ke sini.

[![Runs on a Mac](https://mlx.app/badge/run/flint.svg)](https://mlx.app/run/flint)

Cara ia dikira

Memori: parameter model pada 8, 6, 4, 3 atau 2 bit setiap pemberat serta skala kumpulan MLX (setengah bit setiap pemberat), atau format aslinya, dengan ruang untuk konteks di atasnya. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% memori bersatu. Kelajuan: lebar jalur memori dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; dalam penanda aras Apple Silicon awam llama.cpp, larian sebenar mencapai kira-kira 45% hingga 80% daripadanya, dan julat itulah yang ditunjukkan. Ini anggaran, bukan ukuran: ukur Mac anda sendiri di MLX Bench. Angka model daripada kad model rasmi setiap model, angka cip daripada Spesifikasi Teknikal Apple. Disemak 2026-10-19. Data yang sama seperti mlx.app/compare.

Data terbuka: mlx.app/data (JSON, CSV)

Bolehkah Mac jalankan Recursive Flint? RAM, kelajuan