Μπορεί ένας Mac να τρέξει το Hy3;

Ναι, με 256 GB ενοποιημένης μνήμης ή περισσότερα. Το Hy3 έχει 295B παραμέτρους, από τις οποίες οι 21B είναι ενεργές σε κάθε token· εδώ θα δείτε τη μνήμη που χρειάζεται σε κάθε ακρίβεια και πόσο γρήγορα το τρέχει κάθε τσιπ της Apple.

Ενημέρωση

Μνήμη σε 4-bit179 GBβάρη 166 GB + συμφραζόμενα
Μικρότερος Mac256 GB4-bit · 5 διαμορφώσεις Mac
Ταχύτερος Mac46–81tokens/s · M5 Ultra 256 GB (εκτίμηση)

Μνήμη σε κάθε ακρίβεια

ΈκδοσηΒάρηΜε συμφραζόμεναΜικρότερος Mac
8-bit313 GB339 GB512 GB
6-bit240 GB259 GB512 GB
4-bit166 GB179 GB256 GB
3-bit χαμηλότερη ποιότητα129 GB139 GB192 GB
2-bit χαμηλότερη ποιότητα92,2 GB99,6 GB192 GB

Πόση RAM χρειάζεται ένα LLM

Σε κάθε τσιπ της Apple

Το μικρότερο μέγεθος μνήμης κάθε τσιπ που τρέχει το Hy3, η καλύτερη έκδοση που χωράει και η ταχύτητα γραφής που μπορείτε να περιμένετε.

ΤσιπΑπαιτείΈκδοσηTokens/s
M6κανένα μέγεθος δεν χωράειΠολύ μεγάλο–
M5 Ultra256 GB4-bit Τρέχει καλά46–81
M5 Max128 GB2-bit Οριακά42–74
M5 Proκανένα μέγεθος δεν χωράειΠολύ μεγάλο–
M5κανένα μέγεθος δεν χωράειΠολύ μεγάλο–
M4 Max128 GB2-bit Οριακά37–66
M4 Proκανένα μέγεθος δεν χωράειΠολύ μεγάλο–
M4κανένα μέγεθος δεν χωράειΠολύ μεγάλο–
M3 Ultra256 GB4-bit Τρέχει καλά31–56
M3 Max128 GB2-bit Οριακά27–48
M3 Proκανένα μέγεθος δεν χωράειΠολύ μεγάλο–
M3κανένα μέγεθος δεν χωράειΠολύ μεγάλο–
M2 Ultra192 GB3-bit Τρέχει καλά39–70
M2 Maxκανένα μέγεθος δεν χωράειΠολύ μεγάλο–
M2 Proκανένα μέγεθος δεν χωράειΠολύ μεγάλο–
M2κανένα μέγεθος δεν χωράειΠολύ μεγάλο–
M1 Ultra128 GB2-bit Οριακά55–97
M1 Maxκανένα μέγεθος δεν χωράειΠολύ μεγάλο–
M1 Proκανένα μέγεθος δεν χωράειΠολύ μεγάλο–
M1κανένα μέγεθος δεν χωράειΠολύ μεγάλο–

Πώς να το τρέξετε

Στο Terminal με το MLX της Apple: Το κανονικό mlx-lm δεν μπορεί ακόμη να φορτώσει αυτό το μοντέλο (mlx-community/Hy3-OptiQ-2bit), οπότε ακολουθήστε τις οδηγίες στην κάρτα μοντέλου του build.Build: mlx-community/Hy3-OptiQ-2bit στο Hugging Face. Οι άλλες ακρίβειες βρίσκονται ακριβώς δίπλα.

Βήμα προς βήμα: λήψη και εκτέλεση LLM σε Mac · MLX vs Ollama vs llama.cpp

Προτιμάτε μια εφαρμογή από το Τερματικό; Συγκρίνετε τις εφαρμογές Mac που τρέχουν τοπικά μοντέλα στο AI App Store: τιμή, άδεια και πού πηγαίνουν τα δεδομένα σας.

Σχετικά με το Hy3

ΔημιουργόςTencent
Παράμετροι295B συνολικά · 21B ενεργές (mixture of experts)
Συμφραζόμενα256K tokens
ΆδειαApache-2.0
Κυκλοφορία2026-07
ΕίσοδοςΚείμενο
Νοημοσύνη25,3 στον Artificial Analysis Intelligence Index
Βάρηtencent/Hy3

Ερωτήσεις

Πόση μνήμη χρειάζεται το Hy3;
Περίπου 166 GB για τα βάρη σε 4-bit, συν χώρο για τα συμφραζόμενα: 179 GB συνολικά. Σε Mac αυτό σημαίνει 256 GB ενοποιημένης μνήμης ή περισσότερα, αφού το macOS αφήνει από προεπιλογή την GPU να χρησιμοποιεί περίπου το 75% της.
Πόσο γρήγορο είναι το Hy3 σε Mac;
Η ταχύτητα γραφής εξαρτάται από το εύρος ζώνης μνήμης. Ο ταχύτερος Mac γι’ αυτό εδώ είναι ένας Mac με M5 Ultra και 256 GB, με περίπου 46–81 tokens ανά δευτερόλεπτο (4-bit). Ο μικρότερος Mac που το τρέχει, με 256 GB, φτάνει περίπου τα 46–81 με M5 Ultra.
Γιατί το Hy3 τρέχει πιο γρήγορα απ’ ό,τι δείχνει το μέγεθός του;
Είναι μοντέλο mixture of experts: κρατά 295B παραμέτρους στη μνήμη αλλά διαβάζει μόνο 21B για κάθε token, οπότε γράφει με την ταχύτητα ενός πολύ μικρότερου μοντέλου.

Παρόμοια μοντέλα

Όλα τα μοντέλα · Όλοι οι Mac · Συγκρίνετε τον Mac σας

Για την κάρτα μοντέλου ή το README σας

Runs on a Mac: Hy3 Δείχνει τον μικρότερο Mac που τρέχει καλά το Hy3 και οδηγεί εδώ.

[![Runs on a Mac](https://mlx.app/badge/run/hy3.svg)](https://mlx.app/run/hy3)

Πώς υπολογίζεται

Μνήμη: οι παράμετροι του μοντέλου σε 8, 6, 4, 3 ή 2 bit ανά βάρος συν τις κλίμακες ομάδων του MLX (μισό bit ανά βάρος), ή στην εγγενή του μορφή, με χώρο για τα συμφραζόμενα από πάνω. Από προεπιλογή το macOS αφήνει την GPU να χρησιμοποιεί περίπου το 75% της ενοποιημένης μνήμης. Ταχύτητα: το εύρος ζώνης μνήμης διαιρεμένο με τα bytes που διαβάζονται ανά token είναι το ανώτατο όριο για μία συνομιλία· στα δημόσια benchmarks Apple Silicon του llama.cpp οι πραγματικές εκτελέσεις φτάνουν περίπου το 45% έως 80% του ορίου, και αυτό το εύρος δείχνουμε. Είναι εκτιμήσεις, όχι μετρήσεις: μετρήστε τον δικό σας Mac στο MLX Bench. Στοιχεία μοντέλων από την επίσημη κάρτα κάθε μοντέλου, στοιχεία τσιπ από τα Τεχνικά χαρακτηριστικά της Apple. Ελέγχθηκε 2026-10-19. Ίδια δεδομένα με το mlx.app/compare.

Ανοιχτά δεδομένα: mlx.app/data (JSON, CSV)