Ο καλύτερος Mac για τοπικά LLM.

1Γιατί η μνήμη και το εύρος ζώνης καθορίζουν τα πάντα

Ένα γλωσσικό μοντέλο γράφει ένα token τη φορά, και για καθένα διαβάζει κάθε ενεργό βάρος από τη μνήμη. Έτσι, το όριο ταχύτητας για μία συνομιλία είναι περίπου το εύρος ζώνης μνήμης διαιρεμένο με το μέγεθος των ενεργών βαρών. Στα δημόσια benchmark του llama.cpp, η πραγματική δημιουργία φτάνει το 43% έως 80% αυτού του ορίου στα τσιπ της Apple (llama.cpp).

Η ανάγνωση του prompt σας είναι διαφορετική: εκεί το όριο είναι η υπολογιστική ισχύς, γι' αυτό τα τσιπ της γενιάς M5, με νευρωνικούς επιταχυντές στη GPU, επεξεργάζονται τα prompts αρκετές φορές πιο γρήγορα από τα προηγούμενα (Apple).

2Κάθε τσιπ, σε σύγκριση

Τα παλαιότερα τσιπ αποδίδουν ακόμη καλά όταν έχουν τη μνήμη. Ένα M1 Max ή M2 Max με 64 GB διαβάζει στα 400 GB/s, περισσότερο από κάθε σημερινό βασικό τσιπ, και μεταχειρισμένο συχνά κοστίζει πολύ λιγότερο.

3Ποιον Mac να αγοράσετε

Για μια πρώτη δοκιμή: MacBook Air ή Mac mini με 16 έως 32 GB

Εκτελεί άνετα μοντέλα 7B έως 14B, και μοντέλα της κατηγορίας 30B με 32 GB. Αρκεί για συνομιλία, γραφή και ελαφριά βοήθεια στον κώδικα.

Η καλύτερη σχέση αξίας: τσιπ Pro με 64 GB

Ένα Mac mini ή MacBook Pro με M4 Pro ή M5 Pro χωρά μοντέλα της κατηγορίας 70B και τρέχει μεσαία μοντέλα με καλό ρυθμό. Η ιδανική επιλογή για τους περισσότερους προγραμματιστές.

Σοβαρό τοπικό AI: τσιπ Max με 128 GB

Εκτελεί το gpt-oss-120b (περίπου 65 GB σε 4-bit) σε φορητό· με βάση το εύρος ζώνης που δίνει η Apple, το θεωρητικό ανώτατο όριο για μία ροή στο M5 Max είναι περίπου 225 tokens ανά δευτερόλεπτο. Η καλύτερη φορητή επιλογή.

Τα μεγαλύτερα μοντέλα: Mac Studio με Ultra

Έως 512 GB στα 1,2 TB/s με το M5 Ultra χωρούν μοντέλα με εκατοντάδες δισεκατομμύρια παραμέτρους σε ένα γραφείο. Για ακόμη μεγαλύτερα μοντέλα, πολλοί Mac μπορούν να ενωθούν σε cluster μέσω Thunderbolt 5: δείτε τα clusters AI με Mac.

4Αξιοποιήστε τον χρόνο αδράνειας του Mac

Ένας Mac που αγοράστηκε για AI περνά τον περισσότερο χρόνο του σε αναμονή. Το MLX Node είναι δωρεάν εφαρμογή που διαθέτει αυτή την αχρησιμοποίητη ισχύ στο MLX Network: εκτελεί εργασίες AI στο ίδιο framework MLX και κερδίζει tokens MLX για επαληθευμένη εργασία. Μια αποκλειστική θέση που ταιριάζει στο τσιπ πολλαπλασιάζει όσα κερδίζει: μια θέση Pro τρέχει με πλήρη ρυθμό σε τσιπ Pro ή Max, μια θέση Ultra σε τσιπ Ultra.

Συγκρίνετε πρώτα τον Mac σας στο MLX Bench: δείχνει μετρημένα tokens ανά δευτερόλεπτο για ανοιχτά μοντέλα σε κάθε τσιπ.

5Ερωτήσεις

Αρκούν 16 GB για ένα τοπικό LLM;

Ναι, για μοντέλα έως περίπου 14B παραμέτρων σε 4-bit. Για μεγαλύτερα μοντέλα ή μεγάλα συμφραζόμενα, 32 GB ή περισσότερα είναι πολύ πιο άνετα.

Mac Studio ή MacBook Pro για LLM;

Και τα δύο διατίθενται με τσιπ Max και έως 128 GB. Το MacBook Pro είναι φορητό· το Mac Studio μένει πιο δροσερό σε μακρά φορτία και είναι ο μόνος Mac με τσιπ Ultra και έως 512 GB.

Είναι ένας Mac καλύτερος από μια GPU Nvidia για τοπικό AI;

Για τα μεγαλύτερα μοντέλα στο σπίτι, συχνά ναι: η ενοποιημένη μνήμη ενός Mac χωρά πολύ περισσότερα από τη μνήμη μιας καταναλωτικής κάρτας γραφικών. Μια κορυφαία κάρτα Nvidia είναι πιο γρήγορη στα μοντέλα που χωρούν στη μνήμη της.

Κάνει το M5 τα LLM πιο γρήγορα;

Ναι, κυρίως στην ανάγνωση των prompts: η Apple μέτρησε ότι με το MLX το πρώτο token φτάνει 3,3 έως 4,1 φορές νωρίτερα στο M5 από ό,τι στο M4. Η ταχύτητα δημιουργίας αυξάνεται με το εύρος ζώνης μνήμης, που ανέβηκε 28% από το M4 στο M5.