1Οι προδιαγραφές που μετρούν για το AI
| Ενοποιημένη μνήμη | 512 GB |
|---|---|
| Εύρος ζώνης μνήμης | 1,2 TB/s |
| Υπάρχει στους | Mac Studio (2026) |
| Αποκλειστική θέση για αυτό | Θέση Ultra Latest: εξορύσσει έως 480 MLX την ημέρα |
2Ποια μοντέλα χωρούν
Στα 4 bit ανά βάρος ένα μοντέλο χρειάζεται λίγο πάνω από μισό gigabyte ανά δισεκατομμύριο παραμέτρους, συν χώρο για τα συμφραζόμενά του και το macOS. Με 512 GB, το M5 Ultra χωράει άνετα μοντέλα έως περίπου 682 δισεκατομμύρια παραμέτρους.
| Μοντέλο σε 4 bit | Μνήμη που χρειάζεται | Χωράει στο M5 Ultra |
|---|---|---|
| Μοντέλο 8B | 4,5 GB | Ναι |
| Μοντέλο 14B | 7,9 GB | Ναι |
| Μοντέλο 32B | 18 GB | Ναι |
| Μοντέλο 70B | 39,4 GB | Ναι |
| gpt-oss-120b, mixture-of-experts | 65 GB | Ναι |
| Qwen3.5-397B-A17B, mixture-of-experts | 223,3 GB | Ναι |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | Ναι |
3Πόσο γρήγορα τρέχει
Τη γραφή κειμένου την περιορίζει το εύρος ζώνης μνήμης: κάθε νέο token διαβάζει μία φορά τα ενεργά βάρη του μοντέλου. Αν διαιρέσετε τα 1,2 TB/s του M5 Ultra με τα bytes που διαβάζονται ανά token, προκύπτει το παρακάτω όριο. Οι πραγματικές εκτελέσεις φτάνουν συνήθως περίπου το 45% έως 80% αυτού (benchmarks του llama.cpp).
| Μοντέλο σε 4 bit | Ανάγνωση ανά token | Όριο για μία συνομιλία |
|---|---|---|
| Μοντέλο 8B | 4,5 GB | 267 tokens/s |
| Μοντέλο 14B | 7,9 GB | 152 tokens/s |
| Μοντέλο 32B | 18 GB | 67 tokens/s |
| Μοντέλο 70B | 39,4 GB | 30 tokens/s |
| gpt-oss-120b, mixture-of-experts | 2,7 GB | 444 tokens/s |
| Qwen3.5-397B-A17B, mixture-of-experts | 9,6 GB | 125 tokens/s |
| DeepSeek-V4.1-Flash, mixture-of-experts | 9 GB | 133 tokens/s |
Μετρημένο: στο M5 Ultra (80-core GPU), το llama.cpp παράγει 179 tokens ανά δευτερόλεπτο με το Llama-2-7B (Q4_0) στα δημόσια benchmarks του.
Τα τσιπ της γενιάς M5 προσθέτουν νευρωνικούς επιταχυντές στη GPU, οπότε διαβάζουν τα prompts αρκετές φορές πιο γρήγορα από το M4: η Apple μέτρησε ότι το πρώτο token φτάνει 3,3 έως 4,1 φορές νωρίτερα με το MLX (Apple).
5Σύγκριση με άλλα τσιπ
6Ερωτήσεις
- Μπορεί το M5 Ultra να τρέξει μοντέλο 70B;
- Ναι. Ένα μοντέλο 70B σε 4 bit χρειάζεται περίπου 40 GB, και το M5 Ultra έχει έως 512 GB. Υπολογίστε ένα όριο περίπου 30 tokens ανά δευτερόλεπτο για μία συνομιλία.
- Πόσα tokens ανά δευτερόλεπτο βγάζει το M5 Ultra;
- Για ένα μοντέλο 8B σε 4 bit, το όριο είναι περίπου 267 tokens ανά δευτερόλεπτο, και οι πραγματικές εκτελέσεις φτάνουν περίπου το μισό έως τα τέσσερα πέμπτα του. Τα μεγαλύτερα μοντέλα είναι αναλογικά πιο αργά.
- Είναι καλό το M5 Ultra για AI;
- Για την τοπική εκτέλεση μοντέλων, η μνήμη και το εύρος ζώνης μετρούν περισσότερο. Το M5 Ultra έχει έως 512 GB στα 1,2 TB/s, αρκετά για μοντέλα έως περίπου 682 δισεκατομμύρια παραμέτρους. Μπορεί επίσης να κερδίζει εκτελώντας εργασίες AI για το MLX Network με το MLX Node.
Πηγές
- Apple: M6 and M5 Ultraapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com