Το M6 για τοπικό AI.

1Οι προδιαγραφές που μετρούν για το AI

2Ποια μοντέλα χωρούν

Στα 4 bit ανά βάρος ένα μοντέλο χρειάζεται λίγο πάνω από μισό gigabyte ανά δισεκατομμύριο παραμέτρους, συν χώρο για τα συμφραζόμενά του και το macOS. Με 32 GB, το M6 χωράει άνετα μοντέλα έως περίπου 42 δισεκατομμύρια παραμέτρους.

3Πόσο γρήγορα τρέχει

Τη γραφή κειμένου την περιορίζει το εύρος ζώνης μνήμης: κάθε νέο token διαβάζει μία φορά τα ενεργά βάρη του μοντέλου. Αν διαιρέσετε τα 170 GB/s του M6 με τα bytes που διαβάζονται ανά token, προκύπτει το παρακάτω όριο. Οι πραγματικές εκτελέσεις φτάνουν συνήθως περίπου το 45% έως 80% αυτού (benchmarks του llama.cpp).

Τα τσιπ της γενιάς M5 προσθέτουν νευρωνικούς επιταχυντές στη GPU, οπότε διαβάζουν τα prompts αρκετές φορές πιο γρήγορα από το M4: η Apple μέτρησε ότι το πρώτο token φτάνει 3,3 έως 4,1 φορές νωρίτερα με το MLX (Apple).

5Σύγκριση με άλλα τσιπ

• M6 · 16 GB
• M6 · 24 GB
• M6 · 32 GB
• M5 vs M6

• M5: 32 GB, 153 GB/s
• Ο καλύτερος Mac για τοπικά LLM.

6Ερωτήσεις

Μπορεί το M6 να τρέξει μοντέλο 70B;

Όχι άνετα. Ένα μοντέλο 70B σε 4 bit χρειάζεται περίπου 40 GB, και το M6 έχει το πολύ 32 GB. Μοντέλα έως περίπου 42B παραμέτρους χωρούν καλά.

Πόσα tokens ανά δευτερόλεπτο βγάζει το M6;

Για ένα μοντέλο 8B σε 4 bit, το όριο είναι περίπου 38 tokens ανά δευτερόλεπτο, και οι πραγματικές εκτελέσεις φτάνουν περίπου το μισό έως τα τέσσερα πέμπτα του. Τα μεγαλύτερα μοντέλα είναι αναλογικά πιο αργά.

Είναι καλό το M6 για AI;

Για την τοπική εκτέλεση μοντέλων, η μνήμη και το εύρος ζώνης μετρούν περισσότερο. Το M6 έχει έως 32 GB στα 170 GB/s, αρκετά για μοντέλα έως περίπου 42 δισεκατομμύρια παραμέτρους. Μπορεί επίσης να κερδίζει εκτελώντας εργασίες AI για το MLX Network με το MLX Node.