Τι μπορεί να τρέξει ο Mac σας;
Επιλέξτε τον Mac σας ή οποιοδήποτε άλλο μηχάνημα και δείτε ποια ανοιχτά μοντέλα AI χωρούν στη μνήμη του και πόσο γρήγορα μπορεί να τα τρέξει. Υπολογισμένο από την κάρτα κάθε μοντέλου και τη δημοσιευμένη μνήμη και το εύρος ζώνης μνήμης κάθε chip.
Apple M5 με 16 GB: περίπου 12 GB για μοντέλα από προεπιλογή, εύρος ζώνης μνήμης 153 GB/s. Τρέχει 20 από 43 δημοφιλή μοντέλα. Η σελίδα του Μέτρηση: 32 tokens/s με Llama 2 7B στα 4 bit στο llama.cpp (M5 (10-core GPU)).
Ευφυΐα: Artificial Analysis Intelligence Index v4.3.2, όπου έχει μετρηθεί. Τα ονόματα των μοντέλων οδηγούν στις επίσημες κάρτες τους.
Πώς υπολογίζεται
Μνήμη. Κάθε μοντέλο εμφανίζεται στην υψηλότερη ακρίβεια που χωρά: 8, 6, 4, 3 ή 2 bit ανά βάρος, συν τις κλίμακες ομάδων του MLX (μισό bit ανά βάρος), ή στη δική του εγγενή μορφή όταν διατίθεται σε αυτήν. Σε έναν Mac η GPU μπορεί να χρησιμοποιήσει από προεπιλογή περίπου το 75% της ενοποιημένης μνήμης· κρατάμε επιπλέον χώρο για το παράθυρο συμφραζομένων.
Ταχύτητα. Η παραγωγή κειμένου διαβάζει κάθε ενεργό βάρος μία φορά ανά token, οπότε το εύρος ζώνης μνήμης διαιρεμένο με αυτά τα bytes είναι το ανώτατο όριο για μία συνομιλία. Στα δημόσια benchmarks Apple Silicon του llama.cpp οι πραγματικές εκτελέσεις φτάνουν περίπου το 45% έως 80% αυτού, και αυτό είναι το εύρος που εμφανίζεται. Η ανάγνωση ενός μεγάλου prompt περιορίζεται αντίθετα από την υπολογιστική ισχύ και δεν εμφανίζεται.
Πηγές. Οι παράμετροι, το παράθυρο συμφραζομένων και οι άδειες προέρχονται από την επίσημη κάρτα κάθε μοντέλου στο Hugging Face (με σύνδεσμο από το όνομά του)· η μνήμη και το εύρος ζώνης από τις προδιαγραφές της Apple και των κατασκευαστών. Έλεγχος: 2026-10-19. Μετρήστε τον δικό σας Mac στο MLX Bench. Κάθε Mac, κάθε μοντέλο και ο πλήρης πίνακας συμβατότητας διατίθενται δωρεάν για λήψη σε JSON και CSV: ανοιχτά δεδομένα.
Περιήγηση. Κάθε Mac, από ένα M1 με 8 GB έως ένα M5 Ultra με 512 GB, με κάθε μοντέλο που τρέχει, και κάθε μοντέλο με τον μικρότερο Mac που χρειάζεται.
Τρέξτε τα. Βήμα βήμα: λήψη και εκτέλεση LLM σε Mac, MLX vs Ollama vs llama.cpp και ο καλύτερος Mac για τοπικά LLM. Όσο ο Mac σας είναι σε αδράνεια, μπορεί να κερδίζει tokens MLX.
- Πώς ξέρω αν ένα LLM θα τρέξει στον Mac μου;
- Συγκρίνετε το μέγεθος του μοντέλου στην ακρίβεια που θέλετε με την ενοποιημένη μνήμη του Mac σας. Από προεπιλογή το macOS αφήνει την GPU να χρησιμοποιεί περίπου το 75% της, και το μοντέλο χρειάζεται επίσης χώρο για το παράθυρο συμφραζομένων του. Ένα μοντέλο 4-bit χρειάζεται λίγο περισσότερο από μισό gigabyte ανά δισεκατομμύριο παραμέτρους.
- Πόσα tokens ανά δευτερόλεπτο θα πετύχω;
- Η παραγωγή κειμένου περιορίζεται από το εύρος ζώνης μνήμης: κάθε token διαβάζει μία φορά τα ενεργά βάρη του μοντέλου. Το εύρος ζώνης διαιρεμένο με τα bytes που διαβάζονται ανά token είναι το ανώτατο όριο για μία συνομιλία· οι πραγματικές εκτελέσεις συνήθως φτάνουν περίπου το 45% έως 80% αυτού.
- Γιατί τα μοντέλα mixture-of-experts τρέχουν πιο γρήγορα;
- Κρατούν πολλούς experts στη μνήμη αλλά χρησιμοποιούν μόνο λίγους για κάθε token, οπότε κάθε token διαβάζει πολύ λιγότερα bytes. Χρειάζονται μνήμη για ολόκληρο το μοντέλο, αλλά τρέχουν με την ταχύτητα ενός πολύ μικρότερου.
- Αρκεί η κβαντοποίηση 4-bit;
- Για τα περισσότερα μοντέλα, τα 4 bit κρατούν την ποιότητα κοντά στο αρχικό. Κάτω από τα 4 bit η ποιότητα πέφτει πιο γρήγορα, γι' αυτό οι εκδόσεις κάτω από 4 bit επισημαίνονται.