Το M3 Ultra για τοπικό AI.

1Οι προδιαγραφές που μετρούν για το AI

2Ποια μοντέλα χωρούν

Στα 4 bit ανά βάρος ένα μοντέλο χρειάζεται λίγο πάνω από μισό gigabyte ανά δισεκατομμύριο παραμέτρους, συν χώρο για τα συμφραζόμενά του και το macOS. Με 512 GB, το M3 Ultra χωράει άνετα μοντέλα έως περίπου 682 δισεκατομμύρια παραμέτρους.

3Πόσο γρήγορα τρέχει

Τη γραφή κειμένου την περιορίζει το εύρος ζώνης μνήμης: κάθε νέο token διαβάζει μία φορά τα ενεργά βάρη του μοντέλου. Αν διαιρέσετε τα 819 GB/s του M3 Ultra με τα bytes που διαβάζονται ανά token, προκύπτει το παρακάτω όριο. Οι πραγματικές εκτελέσεις φτάνουν συνήθως περίπου το 45% έως 80% αυτού (benchmarks του llama.cpp).

Μετρημένο: στο M3 Ultra (80-core GPU), το llama.cpp παράγει 92 tokens ανά δευτερόλεπτο με το Llama-2-7B (Q4_0) στα δημόσια benchmarks του.

5Σύγκριση με άλλα τσιπ

• M3 Ultra · 96 GB
• M3 Ultra · 256 GB
• M3 Ultra · 512 GB
• M2 Ultra vs M3 Ultra
• M3 Max vs M3 Ultra
• M3 Ultra vs M4 Max
• M3 Ultra vs M5 Max
• M3 Ultra vs M5 Ultra

• M2 Ultra: 192 GB, 800 GB/s
• M3 Max: 128 GB, 400 GB/s
• Ο καλύτερος Mac για τοπικά LLM.

6Ερωτήσεις

Μπορεί το M3 Ultra να τρέξει μοντέλο 70B;

Ναι. Ένα μοντέλο 70B σε 4 bit χρειάζεται περίπου 40 GB, και το M3 Ultra έχει έως 512 GB. Υπολογίστε ένα όριο περίπου 21 tokens ανά δευτερόλεπτο για μία συνομιλία.

Πόσα tokens ανά δευτερόλεπτο βγάζει το M3 Ultra;

Για ένα μοντέλο 8B σε 4 bit, το όριο είναι περίπου 182 tokens ανά δευτερόλεπτο, και οι πραγματικές εκτελέσεις φτάνουν περίπου το μισό έως τα τέσσερα πέμπτα του. Τα μεγαλύτερα μοντέλα είναι αναλογικά πιο αργά.

Είναι καλό το M3 Ultra για AI;

Για την τοπική εκτέλεση μοντέλων, η μνήμη και το εύρος ζώνης μετρούν περισσότερο. Το M3 Ultra έχει έως 512 GB στα 819 GB/s, αρκετά για μοντέλα έως περίπου 682 δισεκατομμύρια παραμέτρους. Μπορεί επίσης να κερδίζει εκτελώντας εργασίες AI για το MLX Network με το MLX Node.