Μνήμη σε κάθε ακρίβεια
| Έκδοση | Βάρη | Με συμφραζόμενα | Μικρότερος Mac |
|---|---|---|---|
| 8-bit | 42,3 GB | 45,7 GB | 64 GB |
| 6-bit | 32,3 GB | 34,9 GB | 48 GB |
| 4-bit | 22,4 GB | 24,2 GB | 36 GB |
| 3-bit χαμηλότερη ποιότητα | 17,4 GB | 18,9 GB | 32 GB |
| 2-bit χαμηλότερη ποιότητα | 12,4 GB | 13,9 GB | 24 GB |
Σε κάθε τσιπ της Apple
Το μικρότερο μέγεθος μνήμης κάθε τσιπ που τρέχει το Recursive Flint, η καλύτερη έκδοση που χωράει και η ταχύτητα γραφής που μπορείτε να περιμένετε.
| Τσιπ | Απαιτεί | Έκδοση | Tokens/s |
|---|---|---|---|
| M6 | 24 GB | 2-bit Τρέχει καλά | 96–170 |
| M5 Ultra | 96 GB | 8-bit Τρέχει καλά | 200–356 |
| M5 Max | 36 GB | 4-bit Τρέχει καλά | 148–263 |
| M5 Pro | 48 GB | 6-bit Τρέχει καλά | 69–123 |
| M5 | 24 GB | 2-bit Τρέχει καλά | 86–153 |
| M4 Max | 36 GB | 4-bit Τρέχει καλά | 132–234 |
| M4 Pro | 48 GB | 6-bit Τρέχει καλά | 61–109 |
| M4 | 24 GB | 2-bit Τρέχει καλά | 68–120 |
| M3 Ultra | 96 GB | 8-bit Τρέχει καλά | 137–243 |
| M3 Max | 36 GB | 4-bit Τρέχει καλά | 96–171 |
| M3 Pro | 36 GB | 4-bit Τρέχει καλά | 48–86 |
| M3 | 24 GB | 2-bit Τρέχει καλά | 56–100 |
| M2 Ultra | 64 GB | 8-bit Τρέχει καλά | 133–237 |
| M2 Max | 64 GB | 8-bit Τρέχει καλά | 67–119 |
| M2 Pro | 32 GB | 3-bit Τρέχει καλά | 82–145 |
| M2 | 24 GB | 2-bit Τρέχει καλά | 56–100 |
| M1 Ultra | 64 GB | 8-bit Τρέχει καλά | 133–237 |
| M1 Max | 64 GB | 8-bit Τρέχει καλά | 67–119 |
| M1 Pro | 32 GB | 3-bit Τρέχει καλά | 82–145 |
| M1 | 16 GB | 2-bit Οριακά | 38–68 |
Μετρήσεις άλλων
Ταχύτητες decode του Recursive Flint που μέτρησαν άλλοι στους δικούς τους Mac και δημοσίευσαν. Είναι μετρήσεις τρίτων, όχι δικές μας, και όχι οι παραπάνω εκτιμήσεις.
| Mac | Runtime | Ακρίβεια | Decode tok/s | Πηγή |
|---|---|---|---|---|
| Mac Studio M3 Ultra | Ollama (MLX engine) | INT4 (QAT) | 107 | Alec Kloss @aleckloss |
| Mac Studio M3 Ultra | mlx-lm (PR #1998) | INT4 (QAT) | 104,5 | Alec Kloss @aleckloss |
| Mac Studio M3 Ultra | mlx-vlm | BF16 | 51,3με συμφραζόμενα 1K | Prince Canuma @Prince_Canuma |
| Mac Studio M3 Ultra | mlx-vlm | BF16 | 33με συμφραζόμενα 128K | Prince Canuma @Prince_Canuma |
| Mac mini M5 Pro 64 GB | Ollama | 4-bit | 115 | Pratik Gandhi @pratikg |
| Mac mini M5 Pro 64 GB | Ollama | 4-bit | 87με συμφραζόμενα 20K | Pratik Gandhi @pratikg |
Τα αποτελέσματα διαφέρουν ανάλογα με το runtime και τις ρυθμίσεις: η έκδοσή του, η ακρίβεια, το μήκος των συμφραζομένων, το prompt και το αν το reasoning είναι ενεργό αλλάζουν την ταχύτητα.
Πώς να το τρέξετε
curl -fsSL https://raw.githubusercontent.com/recursive-oss/rec/main/install.sh | bashrec launch piΑπαιτεί: M4 Pro, M5 Pro or M5 Max · at least 48 GB unified memory · about 30 GB free disk · Node.js 22 and npm (for pi)Build: RecursiveSI/flint-int4 στο Hugging Face. Οι άλλες ακρίβειες βρίσκονται ακριβώς δίπλα.Βήμα προς βήμα: λήψη και εκτέλεση LLM σε Mac · MLX vs Ollama vs llama.cpp
Προτιμάτε μια εφαρμογή από το Τερματικό; Συγκρίνετε τις εφαρμογές Mac που τρέχουν τοπικά μοντέλα στο AI App Store: τιμή, άδεια και πού πηγαίνουν τα δεδομένα σας.
Σχετικά με το Recursive Flint
| Δημιουργός | Recursive |
|---|---|
| Παράμετροι | 39,8B συνολικά · 2,5B ενεργές (mixture of experts) |
| Συμφραζόμενα | 256K tokens |
| Άδεια | Apache-2.0 |
| Κυκλοφορία | 2026-10 |
| Είσοδος | Κείμενο |
| Βάρη | RecursiveSI/flint |
Ερωτήσεις
- Πόση μνήμη χρειάζεται το Recursive Flint;
- Περίπου 22,4 GB για τα βάρη σε 4-bit, συν χώρο για τα συμφραζόμενα: 24,2 GB συνολικά. Σε Mac αυτό σημαίνει 36 GB ενοποιημένης μνήμης ή περισσότερα, αφού το macOS αφήνει από προεπιλογή την GPU να χρησιμοποιεί περίπου το 75% της. Η μηχανή του κατασκευαστή (Recursive), το Rec, χρειάζεται Mac με M4 Pro, M5 Pro ή M5 Max και τουλάχιστον 48 GB ενοποιημένης μνήμης (απαίτηση του κατασκευαστή).
- Πόσο γρήγορο είναι το Recursive Flint σε Mac;
- Η ταχύτητα γραφής εξαρτάται από το εύρος ζώνης μνήμης. Ο ταχύτερος Mac γι’ αυτό εδώ είναι ένας Mac με M5 Ultra και 96 GB, με περίπου 200–356 tokens ανά δευτερόλεπτο (8-bit). Ο μικρότερος Mac που το τρέχει, με 36 GB, φτάνει περίπου τα 148–263 με M5 Max.
- Γιατί το Recursive Flint τρέχει πιο γρήγορα απ’ ό,τι δείχνει το μέγεθός του;
- Είναι μοντέλο mixture of experts: κρατά 39,8B παραμέτρους στη μνήμη αλλά διαβάζει μόνο 2,5B για κάθε token, οπότε γράφει με την ταχύτητα ενός πολύ μικρότερου μοντέλου.
Παρόμοια μοντέλα
Για την κάρτα μοντέλου ή το README σας
Δείχνει τον μικρότερο Mac που τρέχει καλά το Recursive Flint και οδηγεί εδώ.
[](https://mlx.app/run/flint)Πώς υπολογίζεται
Μνήμη: οι παράμετροι του μοντέλου σε 8, 6, 4, 3 ή 2 bit ανά βάρος συν τις κλίμακες ομάδων του MLX (μισό bit ανά βάρος), ή στην εγγενή του μορφή, με χώρο για τα συμφραζόμενα από πάνω. Από προεπιλογή το macOS αφήνει την GPU να χρησιμοποιεί περίπου το 75% της ενοποιημένης μνήμης. Ταχύτητα: το εύρος ζώνης μνήμης διαιρεμένο με τα bytes που διαβάζονται ανά token είναι το ανώτατο όριο για μία συνομιλία· στα δημόσια benchmarks Apple Silicon του llama.cpp οι πραγματικές εκτελέσεις φτάνουν περίπου το 45% έως 80% του ορίου, και αυτό το εύρος δείχνουμε. Είναι εκτιμήσεις, όχι μετρήσεις: μετρήστε τον δικό σας Mac στο MLX Bench. Στοιχεία μοντέλων από την επίσημη κάρτα κάθε μοντέλου, στοιχεία τσιπ από τα Τεχνικά χαρακτηριστικά της Apple. Ελέγχθηκε 2026-10-19. Ίδια δεδομένα με το mlx.app/compare.
Ανοιχτά δεδομένα: mlx.app/data (JSON, CSV)