Mac mini ή Mac Studio για AI.

1Οι προδιαγραφές που μετρούν για AI

Κάθε διαμόρφωση οδηγεί στα μοντέλα που τρέχουν καλά σε αυτήν. Τα παλαιότερα μοντέλα λειτουργούν με τον ίδιο τρόπο: ο Mac mini με M4 ή M4 Pro και ο Mac Studio με M4 Max ή M3 Ultra (κάθε Mac σε κατάταξη).

2Πόσο γρήγορα γράφει ο καθένας

Η γραφή κειμένου διαβάζει τα ενεργά βάρη του μοντέλου μία φορά για κάθε token, οπότε το εύρος ζώνης μνήμης βάζει ανώτατο όριο στην ταχύτητα. Για ένα πυκνό (dense) μοντέλο 32B σε 4-bit, περίπου 18 GB:

Τα μοντέλα mixture-of-experts διαβάζουν μόνο ένα κλάσμα των βαρών τους ανά token, οπότε γράφουν πολύ πιο γρήγορα απ' ό,τι δείχνει το μέγεθός τους: η μνήμη καθορίζει αν χωρούν, το εύρος ζώνης εξακολουθεί να ορίζει τον ρυθμό. Η ανάγνωση ενός μεγάλου prompt εξαρτάται από την υπολογιστική ισχύ της GPU και όχι από το εύρος ζώνης, και εκεί οι μεγαλύτερες GPU των τσιπ Max και Ultra ξεφεύγουν ακόμη περισσότερο.

3Ποιος για ποια μοντέλα

• Μικρά και μεσαία μοντέλα (έως περίπου 30B σε 4-bit), συνομιλία, βοηθοί κώδικα, οικιακός server AI: ένας Mac mini με M5 Pro και 48 ή 64 GB. Ο Mac mini με M6 και 32 GB τρέχει τα ίδια μεγέθη με περίπου τη μισή ταχύτητα.
• Μοντέλα κατηγορίας 70B, gpt-oss-120b, μεγάλα συμφραζόμενα ή αρκετά μοντέλα μαζί: ένας Mac Studio με M5 Max και 128 GB. Τα αρχεία του gpt-oss-120b από την ίδια την OpenAI είναι περίπου 65 GB (OpenAI), περισσότερα απ' όσα μπορεί να δώσει στη GPU του οποιοσδήποτε Mac mini.
• Τα μεγαλύτερα ανοιχτά μοντέλα (εκατοντάδες δισεκατομμύρια παράμετροι): ένας Mac Studio με M5 Ultra και 256 ή 512 GB, ή αρκετοί Mac μαζί (clusters AI με Mac).

Για ένα συγκεκριμένο μοντέλο, η σελίδα του δείχνει τον μικρότερο Mac που το τρέχει και την ταχύτητα σε κάθε τσιπ: κάθε ανοιχτό μοντέλο.

4Όλη μέρα σε λειτουργία

Και οι δύο γίνονται αθόρυβα, αποδοτικά μηχανήματα που μένουν πάντα ανοιχτά. Ένας Mac mini σε αδράνεια καταναλώνει 4–6 W και ένας Mac Studio 7–9 W σύμφωνα με τα παραπάνω στοιχεία της Apple· σε πλήρες φορτίο ο Mac Studio με M5 Ultra μπορεί να φτάσει τα 385 W. Ο οδηγός Mac mini ως server AI εξηγεί πώς μένει ξύπνιος και πώς δίνει μοντέλα σε άλλες συσκευές, και ο οδηγός πόσο ρεύμα καταναλώνει ένας Mac τι κοστίζει μια μέρα.

Όταν είναι σε αδράνεια, το MLX Node μπορεί να εκτελεί εργασίες AI για το MLX Network και να κερδίζει tokens MLX. Μια αποκλειστική θέση που ταιριάζει στο τσιπ εξορύσσει πιο γρήγορα: Core για το M6, Pro για τα M5 Pro και M5 Max, Ultra για το M5 Ultra. Τα κέρδη δεν είναι εγγυημένα: διαβάστε τους κινδύνους.

5Ερωτήσεις

Αξίζει ο Mac Studio έναντι του Mac mini για AI;

Αν θέλετε μοντέλα πάνω από περίπου 85B παραμέτρους, το gpt-oss-120b ή μεγάλα συμφραζόμενα, ναι: μόνο ο Mac Studio έχει πάνω από 64 GB. Για μοντέλα έως περίπου 30B σε 4-bit, ένας Mac mini με M5 Pro τα τρέχει, με περίπου το μισό εύρος ζώνης του M5 Max.

Μπορεί ένας Mac mini να τρέξει μοντέλο 70B;

Μόνο το M5 Pro με 64 GB, σε 4-bit και με σύντομα συμφραζόμενα: περίπου 39 GB βαρών στα 48 GB που μπορεί να χρησιμοποιήσει η GPU από προεπιλογή, με λίγα tokens το δευτερόλεπτο. Ένας Mac Studio με 128 GB το τρέχει με χώρο για συμφραζόμενα και με περίπου διπλάσια ταχύτητα.

Mac Studio M5 Max ή M5 Ultra για LLM;

Το M5 Ultra έχει περίπου διπλάσιο εύρος ζώνης (1.200 έναντι 614 GB/s), οπότε γράφει περίπου δύο φορές πιο γρήγορα, και φτάνει έως 512 GB. Το M5 Max με 128 GB καλύπτει μοντέλα έως περίπου 170B σε 4-bit. Δείτε M5 Max έναντι M5 Ultra.

Mac mini M6 ή M5 Pro για AI;

Το M5 Pro: διαβάζει τη μνήμη περίπου 80% πιο γρήγορα από το M6 με 24 ή 32 GB και φτάνει έως 64 GB αντί για 32 GB.