Μνήμη σε κάθε ακρίβεια
| Έκδοση | Βάρη | Με συμφραζόμενα | Μικρότερος Mac |
|---|---|---|---|
| 8-bit | 1 TB | 1,1 TB | περισσότερη από κάθε Mac |
| 6-bit | 792 GB | 856 GB | περισσότερη από κάθε Mac |
| 4-bit | 548 GB | 592 GB | περισσότερη από κάθε Mac |
| 3-bit χαμηλότερη ποιότητα | 427 GB | 461 GB | περισσότερη από κάθε Mac |
| 2-bit χαμηλότερη ποιότητα | 305 GB | 329 GB | 512 GB |
Σε κάθε τσιπ της Apple
Το μικρότερο μέγεθος μνήμης κάθε τσιπ που τρέχει το Inkling, η καλύτερη έκδοση που χωράει και η ταχύτητα γραφής που μπορείτε να περιμένετε.
| Τσιπ | Απαιτεί | Έκδοση | Tokens/s |
|---|---|---|---|
| M6 | κανένα μέγεθος δεν χωράει | Πολύ μεγάλο | – |
| M5 Ultra | 512 GB | 2-bit Τρέχει καλά | 42–75 |
| M5 Max | κανένα μέγεθος δεν χωράει | Πολύ μεγάλο | – |
| M5 Pro | κανένα μέγεθος δεν χωράει | Πολύ μεγάλο | – |
| M5 | κανένα μέγεθος δεν χωράει | Πολύ μεγάλο | – |
| M4 Max | κανένα μέγεθος δεν χωράει | Πολύ μεγάλο | – |
| M4 Pro | κανένα μέγεθος δεν χωράει | Πολύ μεγάλο | – |
| M4 | κανένα μέγεθος δεν χωράει | Πολύ μεγάλο | – |
| M3 Ultra | 512 GB | 2-bit Τρέχει καλά | 29–51 |
| M3 Max | κανένα μέγεθος δεν χωράει | Πολύ μεγάλο | – |
| M3 Pro | κανένα μέγεθος δεν χωράει | Πολύ μεγάλο | – |
| M3 | κανένα μέγεθος δεν χωράει | Πολύ μεγάλο | – |
| M2 Ultra | κανένα μέγεθος δεν χωράει | Πολύ μεγάλο | – |
| M2 Max | κανένα μέγεθος δεν χωράει | Πολύ μεγάλο | – |
| M2 Pro | κανένα μέγεθος δεν χωράει | Πολύ μεγάλο | – |
| M2 | κανένα μέγεθος δεν χωράει | Πολύ μεγάλο | – |
| M1 Ultra | κανένα μέγεθος δεν χωράει | Πολύ μεγάλο | – |
| M1 Max | κανένα μέγεθος δεν χωράει | Πολύ μεγάλο | – |
| M1 Pro | κανένα μέγεθος δεν χωράει | Πολύ μεγάλο | – |
| M1 | κανένα μέγεθος δεν χωράει | Πολύ μεγάλο | – |
Πώς να το τρέξετε
Βήμα προς βήμα: λήψη και εκτέλεση LLM σε Mac · MLX vs Ollama vs llama.cpp
Προτιμάτε μια εφαρμογή από το Τερματικό; Συγκρίνετε τις εφαρμογές Mac που τρέχουν τοπικά μοντέλα στο AI App Store: τιμή, άδεια και πού πηγαίνουν τα δεδομένα σας.
Σχετικά με το Inkling
| Δημιουργός | Thinking Machines Lab |
|---|---|
| Παράμετροι | 975B συνολικά · 41B ενεργές (mixture of experts) |
| Άδεια | Apache-2.0 |
| Κυκλοφορία | 2026-07 |
| Είσοδος | Κείμενο και εικόνες |
| Νοημοσύνη | 25 στον Artificial Analysis Intelligence Index |
| Βάρη | thinkingmachines/Inkling |
Ερωτήσεις
- Πόση μνήμη χρειάζεται το Inkling;
- Περίπου 548 GB για τα βάρη σε 4-bit, συν χώρο για τα συμφραζόμενα: 592 GB συνολικά. Αυτό είναι περισσότερο από όσο έχει σήμερα οποιοσδήποτε Mac.
- Πόσο γρήγορο είναι το Inkling σε Mac;
- Η ταχύτητα γραφής εξαρτάται από το εύρος ζώνης μνήμης. Ο ταχύτερος Mac γι’ αυτό εδώ είναι ένας Mac με M5 Ultra και 512 GB, με περίπου 42–75 tokens ανά δευτερόλεπτο (2-bit). Ο μικρότερος Mac που το τρέχει, με 512 GB, φτάνει περίπου τα 42–75 με M5 Ultra.
- Γιατί το Inkling τρέχει πιο γρήγορα απ’ ό,τι δείχνει το μέγεθός του;
- Είναι μοντέλο mixture of experts: κρατά 975B παραμέτρους στη μνήμη αλλά διαβάζει μόνο 41B για κάθε token, οπότε γράφει με την ταχύτητα ενός πολύ μικρότερου μοντέλου.
Παρόμοια μοντέλα
Για την κάρτα μοντέλου ή το README σας
Δείχνει τον μικρότερο Mac που τρέχει καλά το Inkling και οδηγεί εδώ.
[](https://mlx.app/run/inkling)Πώς υπολογίζεται
Μνήμη: οι παράμετροι του μοντέλου σε 8, 6, 4, 3 ή 2 bit ανά βάρος συν τις κλίμακες ομάδων του MLX (μισό bit ανά βάρος), ή στην εγγενή του μορφή, με χώρο για τα συμφραζόμενα από πάνω. Από προεπιλογή το macOS αφήνει την GPU να χρησιμοποιεί περίπου το 75% της ενοποιημένης μνήμης. Ταχύτητα: το εύρος ζώνης μνήμης διαιρεμένο με τα bytes που διαβάζονται ανά token είναι το ανώτατο όριο για μία συνομιλία· στα δημόσια benchmarks Apple Silicon του llama.cpp οι πραγματικές εκτελέσεις φτάνουν περίπου το 45% έως 80% του ορίου, και αυτό το εύρος δείχνουμε. Είναι εκτιμήσεις, όχι μετρήσεις: μετρήστε τον δικό σας Mac στο MLX Bench. Στοιχεία μοντέλων από την επίσημη κάρτα κάθε μοντέλου, στοιχεία τσιπ από τα Τεχνικά χαρακτηριστικά της Apple. Ελέγχθηκε 2026-10-19. Ίδια δεδομένα με το mlx.app/compare.
Ανοιχτά δεδομένα: mlx.app/data (JSON, CSV)