Πόση RAM χρειάζεται για να τρέξει ένα LLM;

1Ο κανόνας: παράμετροι × bit

Ένα μοντέλο είναι κυρίως τα βάρη του: ένας αριθμός ανά παράμετρο. Σε 16 bit, ο καθένας πιάνει 2 byte, οπότε ένα μοντέλο χρειάζεται 2 GB ανά δισεκατομμύριο παραμέτρους. Η κβαντοποίηση αποθηκεύει κάθε βάρος σε λιγότερα bit, κάτι που μικραίνει το μοντέλο σχεδόν αναλογικά· στα 4 bit τα περισσότερα μοντέλα μένουν κοντά στην αρχική τους ποιότητα.

Οι κβαντοποιημένες μορφές αποθηκεύουν επίσης λίγα επιπλέον δεδομένα για να ανασυνθέσουν τα βάρη. Το MLX της Apple κρατά από προεπιλογή μια κλίμακα (scale) και μια μετατόπιση (bias) για κάθε ομάδα 64 βαρών, στον 16-bit τύπο του ίδιου του μοντέλου (MLX), κάτι που προσθέτει μισό bit ανά βάρος. Έτσι προκύπτουν αυτά τα μεγέθη:

Κάτω από τα 4 bit, η ποιότητα πέφτει πιο γρήγορα. Μια καλή προεπιλογή είναι η υψηλότερη ακρίβεια που χωρά με άνεση.

2Μνήμη για συνηθισμένα μεγέθη μοντέλων

Ορισμένα μοντέλα κυκλοφορούν σε δική τους χαμηλή ακρίβεια. Το gpt-oss-120b της OpenAI έχει 117 δισεκατομμύρια παραμέτρους και κρατά τα βάρη mixture-of-experts σε μορφή 4-bit, την MXFP4, ώστε να χωρά σε μία GPU 80 GB (OpenAI). Για ένα συγκεκριμένο μοντέλο, ανοίξτε τη σελίδα του: κάθε ανοιχτό μοντέλο και ο Mac που χρειάζεται, για παράδειγμα gpt-oss-120b ή Llama 3.3 70B.

3Και τα συμφραζόμενα πιάνουν μνήμη

Όσο ένα μοντέλο διαβάζει και γράφει, κρατά ένα κλειδί και μια τιμή για κάθε token της συνομιλίας σε κάθε επίπεδο (layer): το KV cache. Το μέγεθός του είναι 2 × επίπεδα × κεφαλές KV × μέγεθος κεφαλής × byte ανά τιμή × tokens.

Το Qwen3 8B, για παράδειγμα, έχει 36 επίπεδα, 8 κεφαλές KV και μέγεθος κεφαλής 128, αποθηκευμένα σε 16-bit (config). Αυτό κάνει 147.456 byte ανά token:

Τα μοντέλα με grouped-query attention, όπως αυτό, κρατούν λιγότερες κεφαλές KV από κεφαλές προσοχής (8 έναντι 32), κάτι που ήδη μειώνει το cache στο ένα τέταρτο. Μπορείτε να εξοικονομήσετε κι άλλο κβαντοποιώντας το cache: ο server του mlx-lm δέχεται --kv-bits 4 (mlx-lm). Για συνομιλία, λίγες χιλιάδες tokens συμφραζομένων αρκούν· για agents, μεγάλα έγγραφα ή κώδικα, υπολογίστε αρκετά gigabyte.

4Πόσο μεγάλο μοντέλο χωρά σε έναν Mac

Η μνήμη ενός Mac μοιράζεται ανάμεσα στη CPU και τη GPU, και το macOS αφήνει από προεπιλογή τη GPU να χρησιμοποιεί μόνο ένα μέρος της. Η σελίδα Compare υπολογίζει περίπου 75%· το README του mlx-lm δείχνει πώς να αυξήσετε το όριο σε macOS 15 ή νεότερο με sudo sysctl iogpu.wired_limit_mb=N (mlx-lm), αλλά το macOS και οι άλλες εφαρμογές σας χρειάζονται κι αυτές χώρο.

Η μνήμη καθορίζει τι χωρά· το εύρος ζώνης μνήμης καθορίζει πόσο γρήγορα γράφει. Ο οδηγός καλύτερος Mac για τοπικά LLM εξηγεί το δεύτερο μισό, και η σελίδα κάθε Mac σε κατάταξη τα συνδυάζει.

5RAM, VRAM και ενοποιημένη μνήμη

Σε ένα PC με κάρτα γραφικών, ένα μοντέλο τρέχει σε πλήρη ταχύτητα μόνο αν χωρά στη μνήμη της ίδιας της κάρτας, τη VRAM: 32 GB σε μια RTX 5090 (NVIDIA). Τα επίπεδα που δεν χωρούν μπορούν να τρέξουν από τη RAM του συστήματος, αλλά αυτή η μνήμη διαβάζεται πολύ πιο αργά, οπότε το μοντέλο επιβραδύνεται πολύ.

Ο Mac δεν έχει ξεχωριστή VRAM: η GPU διαβάζει την ίδια ενοποιημένη μνήμη με τη CPU, γι' αυτό ένας Mac με 64 GB ή 128 GB χωρά μοντέλα που καμία μεμονωμένη καταναλωτική κάρτα γραφικών δεν χωρά. Λίγα PC λειτουργούν πλέον με τον ίδιο τρόπο, όπως το DGX Spark της NVIDIA και τα μηχανήματα AMD Ryzen AI Max με 128 GB κοινά για CPU και GPU: δείτε M5 Max έναντι DGX Spark και M5 Max έναντι RTX 5090.

6Μοντέλα mixture-of-experts

Ένα μοντέλο mixture-of-experts (MoE) κρατά όλες τις παραμέτρους του στη μνήμη, αλλά χρησιμοποιεί μόνο λίγες για κάθε token. Η μνήμη ακολουθεί το σύνολο· η ταχύτητα ακολουθεί το ενεργό μέρος. Το gpt-oss-20b έχει 21 δισεκατομμύρια παραμέτρους, από τις οποίες 3,6 δισεκατομμύρια ενεργές (OpenAI): χρειάζεται μνήμη σαν μοντέλο 21B και γράφει περίπου τόσο γρήγορα όσο ένα 4B.

Γι' αυτό τα μοντέλα mixture-of-experts ταιριάζουν καλά στους Mac, που έχουν περισσότερη μνήμη σε σχέση με το εύρος ζώνης τους απ' ό,τι οι κάρτες γραφικών. Η σελίδα Compare δείχνει και τους δύο αριθμούς για κάθε δημοφιλές μοντέλο.

7Ερωτήσεις

Πόση RAM χρειάζομαι για να τρέξω ένα μοντέλο 70B;

Περίπου 39 GB για τα βάρη σε 4-bit, συν τα συμφραζόμενα: στην πράξη έναν Mac με 64 GB ή περισσότερα, ή αρκετές κάρτες γραφικών. Σε 8-bit χρειάζεται περίπου 74 GB, άρα 128 GB.

Αρκούν 16 GB RAM για να τρέξει ένα LLM;

Ναι, για μοντέλα έως περίπου 14B παραμέτρους σε 4-bit: ένας Mac με 16 GB δίνει από προεπιλογή περίπου 12 GB στη GPU. Τα μοντέλα 8B τρέχουν άνετα, με χώρο για συμφραζόμενα. Δείτε τα καλύτερα LLM για Mac με 16 GB.

Πόση VRAM χρειάζεται ένα μοντέλο 8B;

Περίπου 4,5 GB σε 4-bit, 8,5 GB σε 8-bit και 16 GB σε 16-bit, συν περίπου 1,2 GB για συμφραζόμενα 8.000 tokens στην περίπτωση του Qwen3 8B.

Το μήκος των συμφραζομένων πιάνει μνήμη;

Ναι. Το KV cache μεγαλώνει με κάθε token της συνομιλίας. Για το Qwen3 8B είναι περίπου 147 KB ανά token σε 16-bit: περίπου 4,8 GB στα 32.000 tokens.

Μπορώ να τρέξω ένα μοντέλο μεγαλύτερο από τη RAM μου;

Όχι με χρήσιμο τρόπο. Αν τα βάρη δεν χωρούν, το σύστημα κάνει swap ή διαβάζει από πιο αργή μνήμη, και η παραγωγή κειμένου σέρνεται. Χρησιμοποιήστε χαμηλότερη ακρίβεια, μικρότερο μοντέλο ή μοντέλο mixture-of-experts, ή μοιράστε το σε αρκετά μηχανήματα: δείτε clusters AI με Mac.