1Οι προδιαγραφές που μετρούν για το AI
| Ενοποιημένη μνήμη | 32 GB |
|---|---|
| Εύρος ζώνης μνήμης | 200 GB/s |
| Υπάρχει στους | MacBook Pro 14 και 16 ιντσών (2021) |
| Αποκλειστική θέση για αυτό | Θέση Pro: εξορύσσει έως 80 MLX την ημέρα |
2Ποια μοντέλα χωρούν
Στα 4 bit ανά βάρος ένα μοντέλο χρειάζεται λίγο πάνω από μισό gigabyte ανά δισεκατομμύριο παραμέτρους, συν χώρο για τα συμφραζόμενά του και το macOS. Με 32 GB, το M1 Pro χωράει άνετα μοντέλα έως περίπου 42 δισεκατομμύρια παραμέτρους.
| Μοντέλο σε 4 bit | Μνήμη που χρειάζεται | Χωράει στο M1 Pro |
|---|---|---|
| Μοντέλο 8B | 4,5 GB | Ναι |
| Μοντέλο 14B | 7,9 GB | Ναι |
| Μοντέλο 32B | 18 GB | Ναι |
| Μοντέλο 70B | 39,4 GB | Όχι |
| gpt-oss-120b, mixture-of-experts | 65 GB | Όχι |
| Qwen3.5-397B-A17B, mixture-of-experts | 223,3 GB | Όχι |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | Όχι |
3Πόσο γρήγορα τρέχει
Τη γραφή κειμένου την περιορίζει το εύρος ζώνης μνήμης: κάθε νέο token διαβάζει μία φορά τα ενεργά βάρη του μοντέλου. Αν διαιρέσετε τα 200 GB/s του M1 Pro με τα bytes που διαβάζονται ανά token, προκύπτει το παρακάτω όριο. Οι πραγματικές εκτελέσεις φτάνουν συνήθως περίπου το 45% έως 80% αυτού (benchmarks του llama.cpp).
| Μοντέλο σε 4 bit | Ανάγνωση ανά token | Όριο για μία συνομιλία |
|---|---|---|
| Μοντέλο 8B | 4,5 GB | 44 tokens/s |
| Μοντέλο 14B | 7,9 GB | 25 tokens/s |
| Μοντέλο 32B | 18 GB | 11 tokens/s |
5Σύγκριση με άλλα τσιπ
6Ερωτήσεις
- Μπορεί το M1 Pro να τρέξει μοντέλο 70B;
- Όχι άνετα. Ένα μοντέλο 70B σε 4 bit χρειάζεται περίπου 40 GB, και το M1 Pro έχει το πολύ 32 GB. Μοντέλα έως περίπου 42B παραμέτρους χωρούν καλά.
- Πόσα tokens ανά δευτερόλεπτο βγάζει το M1 Pro;
- Για ένα μοντέλο 8B σε 4 bit, το όριο είναι περίπου 44 tokens ανά δευτερόλεπτο, και οι πραγματικές εκτελέσεις φτάνουν περίπου το μισό έως τα τέσσερα πέμπτα του. Τα μεγαλύτερα μοντέλα είναι αναλογικά πιο αργά.
- Είναι καλό το M1 Pro για AI;
- Για την τοπική εκτέλεση μοντέλων, η μνήμη και το εύρος ζώνης μετρούν περισσότερο. Το M1 Pro έχει έως 32 GB στα 200 GB/s, αρκετά για μοντέλα έως περίπου 42 δισεκατομμύρια παραμέτρους. Μπορεί επίσης να κερδίζει εκτελώντας εργασίες AI για το MLX Network με το MLX Node.
Πηγές
- Apple: M1 Pro and M1 Maxapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com