Πόση μνήμη χρειάζεται το Inkling Small;

Περίπου 155 GB για τα βάρη σε 4-bit, συν χώρο για τα συμφραζόμενα: 168 GB συνολικά. Σε Mac αυτό σημαίνει 256 GB ενοποιημένης μνήμης ή περισσότερα, αφού το macOS αφήνει από προεπιλογή την GPU να χρησιμοποιεί περίπου το 75% της.

Πόσο γρήγορο είναι το Inkling Small σε Mac;

Η ταχύτητα γραφής εξαρτάται από το εύρος ζώνης μνήμης. Ο ταχύτερος Mac γι’ αυτό εδώ είναι ένας Mac με M5 Ultra και 256 GB, με περίπου 79–141 tokens ανά δευτερόλεπτο (4-bit). Ο μικρότερος Mac που το τρέχει, με 256 GB, φτάνει περίπου τα 79–141 με M5 Ultra.

Γιατί το Inkling Small τρέχει πιο γρήγορα απ’ ό,τι δείχνει το μέγεθός του;

Είναι μοντέλο mixture of experts: κρατά 276B παραμέτρους στη μνήμη αλλά διαβάζει μόνο 12B για κάθε token, οπότε γράφει με την ταχύτητα ενός πολύ μικρότερου μοντέλου.

Εκτέλεση Inkling Small σε Mac: απαιτήσεις RAM και ταχύτητα

Μνήμη σε κάθε ακρίβεια

Έκδοση	Βάρη	Με συμφραζόμενα	Μικρότερος Mac
8-bit	293 GB	317 GB	512 GB
6-bit	224 GB	242 GB	512 GB
4-bit	155 GB	168 GB	256 GB
3-bit χαμηλότερη ποιότητα	121 GB	131 GB	192 GB
2-bit χαμηλότερη ποιότητα	86,3 GB	93,2 GB	128 GB

Πόση RAM χρειάζεται ένα LLM

Σε κάθε τσιπ της Apple

Το μικρότερο μέγεθος μνήμης κάθε τσιπ που τρέχει το Inkling Small, η καλύτερη έκδοση που χωράει και η ταχύτητα γραφής που μπορείτε να περιμένετε.

Τσιπ	Απαιτεί	Έκδοση	Tokens/s
M6	κανένα μέγεθος δεν χωράει	Πολύ μεγάλο	–
M5 Ultra	256 GB	4-bit Τρέχει καλά	79–141
M5 Max	128 GB	2-bit Τρέχει καλά	73–129
M5 Pro	κανένα μέγεθος δεν χωράει	Πολύ μεγάλο	–
M5	κανένα μέγεθος δεν χωράει	Πολύ μεγάλο	–
M4 Max	128 GB	2-bit Τρέχει καλά	65–115
M4 Pro	κανένα μέγεθος δεν χωράει	Πολύ μεγάλο	–
M4	κανένα μέγεθος δεν χωράει	Πολύ μεγάλο	–
M3 Ultra	256 GB	4-bit Τρέχει καλά	54–96
M3 Max	128 GB	2-bit Τρέχει καλά	47–84
M3 Pro	κανένα μέγεθος δεν χωράει	Πολύ μεγάλο	–
M3	κανένα μέγεθος δεν χωράει	Πολύ μεγάλο	–
M2 Ultra	128 GB	2-bit Τρέχει καλά	95–168
M2 Max	κανένα μέγεθος δεν χωράει	Πολύ μεγάλο	–
M2 Pro	κανένα μέγεθος δεν χωράει	Πολύ μεγάλο	–
M2	κανένα μέγεθος δεν χωράει	Πολύ μεγάλο	–
M1 Ultra	128 GB	2-bit Τρέχει καλά	95–168
M1 Max	κανένα μέγεθος δεν χωράει	Πολύ μεγάλο	–
M1 Pro	κανένα μέγεθος δεν χωράει	Πολύ μεγάλο	–
M1	κανένα μέγεθος δεν χωράει	Πολύ μεγάλο	–

Πώς να το τρέξετε

Στο Terminal με το MLX της Apple: Το κανονικό mlx-lm δεν μπορεί ακόμη να φορτώσει αυτό το μοντέλο (mlx-community/Inkling-Small-mlx-4bit), οπότε ακολουθήστε τις οδηγίες στην κάρτα μοντέλου του build.Build: mlx-community/Inkling-Small-mlx-4bit στο Hugging Face. Οι άλλες ακρίβειες βρίσκονται ακριβώς δίπλα.

Βήμα προς βήμα: λήψη και εκτέλεση LLM σε Mac · MLX vs Ollama vs llama.cpp

Προτιμάτε μια εφαρμογή από το Τερματικό; Συγκρίνετε τις εφαρμογές Mac που τρέχουν τοπικά μοντέλα στο AI App Store: τιμή, άδεια και πού πηγαίνουν τα δεδομένα σας.

Σχετικά με το Inkling Small

Δημιουργός	Thinking Machines Lab
Παράμετροι	276B συνολικά · 12B ενεργές (mixture of experts)
Άδεια	Apache-2.0
Κυκλοφορία	2026-07
Είσοδος	Κείμενο και εικόνες
Νοημοσύνη	25,7 στον Artificial Analysis Intelligence Index
Βάρη	thinkingmachines/Inkling-Small

Ερωτήσεις

Πόση μνήμη χρειάζεται το Inkling Small;: Περίπου 155 GB για τα βάρη σε 4-bit, συν χώρο για τα συμφραζόμενα: 168 GB συνολικά. Σε Mac αυτό σημαίνει 256 GB ενοποιημένης μνήμης ή περισσότερα, αφού το macOS αφήνει από προεπιλογή την GPU να χρησιμοποιεί περίπου το 75% της.
Πόσο γρήγορο είναι το Inkling Small σε Mac;: Η ταχύτητα γραφής εξαρτάται από το εύρος ζώνης μνήμης. Ο ταχύτερος Mac γι’ αυτό εδώ είναι ένας Mac με M5 Ultra και 256 GB, με περίπου 79–141 tokens ανά δευτερόλεπτο (4-bit). Ο μικρότερος Mac που το τρέχει, με 256 GB, φτάνει περίπου τα 79–141 με M5 Ultra.
Γιατί το Inkling Small τρέχει πιο γρήγορα απ’ ό,τι δείχνει το μέγεθός του;: Είναι μοντέλο mixture of experts: κρατά 276B παραμέτρους στη μνήμη αλλά διαβάζει μόνο 12B για κάθε token, οπότε γράφει με την ταχύτητα ενός πολύ μικρότερου μοντέλου.

Παρόμοια μοντέλα

Όλα τα μοντέλα · Όλοι οι Mac · Συγκρίνετε τον Mac σας

Για την κάρτα μοντέλου ή το README σας

Δείχνει τον μικρότερο Mac που τρέχει καλά το Inkling Small και οδηγεί εδώ.

[![Runs on a Mac](https://mlx.app/badge/run/inkling-small.svg)](https://mlx.app/run/inkling-small)

Πώς υπολογίζεται

Μνήμη: οι παράμετροι του μοντέλου σε 8, 6, 4, 3 ή 2 bit ανά βάρος συν τις κλίμακες ομάδων του MLX (μισό bit ανά βάρος), ή στην εγγενή του μορφή, με χώρο για τα συμφραζόμενα από πάνω. Από προεπιλογή το macOS αφήνει την GPU να χρησιμοποιεί περίπου το 75% της ενοποιημένης μνήμης. Ταχύτητα: το εύρος ζώνης μνήμης διαιρεμένο με τα bytes που διαβάζονται ανά token είναι το ανώτατο όριο για μία συνομιλία· στα δημόσια benchmarks Apple Silicon του llama.cpp οι πραγματικές εκτελέσεις φτάνουν περίπου το 45% έως 80% του ορίου, και αυτό το εύρος δείχνουμε. Είναι εκτιμήσεις, όχι μετρήσεις: μετρήστε τον δικό σας Mac στο MLX Bench. Στοιχεία μοντέλων από την επίσημη κάρτα κάθε μοντέλου, στοιχεία τσιπ από τα Τεχνικά χαρακτηριστικά της Apple. Ελέγχθηκε 2026-10-19. Ίδια δεδομένα με το mlx.app/compare.

Ανοιχτά δεδομένα: mlx.app/data (JSON, CSV)